AI 眼镜多模型对比 Agent 技术文档

📅 2026/7/15 4:21:52
AI 眼镜多模型对比 Agent 技术文档
1. 项目简介本项目是一个运行在 AI 眼镜上的多模型答案对比智能体。用户向眼镜提出一个问题后Agent 会同时向通义千问、DeepSeek、智谱、Kimi等多个大模型发起请求并将不同模型的回答整理成可对比的结果让用户在眼镜端快速查看多路答案。一句话定位一句提问多路回答。2. 核心流程用户提问 ↓ Agent 识别为“多模型对比”任务 ↓ 调用 MultiModelCompareWorkflow ↓ 工作流并发请求多个 AI 模型 ↓ 统一解析模型回复 ↓ 生成对比结果 ↓ 返回眼镜端展示3. 系统架构Rokid / AI 眼镜端 ↓ Agent 智能体 ↓ 无代码工作流 ↓ 模型调用插件 / HTTP 请求 ├─ 通义千问 ├─ DeepSeek ├─ 智谱 └─ Kimi4. 端侧能力AI 眼镜端负责1. 接收用户语音问题 2. 将语音转成文本并发送给 Agent 3. 展示多个模型的回答 4. 支持用户语音切换答案例如 - 看千问的回答 - 看 DeepSeek 的回答 - 总结一下差异眼镜端展示原则1. 每屏只展示一个模型的核心回答 2. 每条回答控制在 35 行 3. 支持左右切换或语音切换 4. 默认先展示“答案总览”再展示各模型详情5. 云端 Agent 职责Agent 负责自然语言理解和流程调度。主要职责1. 判断用户是否在提问 2. 提取用户问题 3. 调用多模型对比工作流 4. 保存本轮各模型回答 5. 根据用户指令切换展示指定模型答案 6. 将长文本压缩成适合眼镜阅读的短文本Agent 不直接调用模型 API统一通过工作流执行。6. 工作流设计工作流名称MultiModelCompareWorkflow工作流输入{question:用户提出的问题,models:[qwen,deepseek,zhipu,kimi]}示例{question:量子计算会如何改变未来的人工智能,models:[qwen,deepseek,zhipu,kimi]}7. 工作流节点节点 1参数提取节点类型参数提取提取字段question用户问题如果没有提取到问题直接回复请告诉我你想问什么问题。节点 2变量初始化节点类型变量初始化question 用户问题 models qwen, deepseek, zhipu, kimi节点 3问题清洗节点类型文本处理作用1. 去除口语冗余 2. 保留原始问题含义 3. 生成统一问题 prompt输出normalized_question示例请简洁回答以下问题并给出关键理由 {{question}}节点 4并发请求多个模型节点类型批处理 / HTTP请求 / 插件对以下模型分别请求通义千问 DeepSeek 智谱 Kimi每个请求输入相同问题{prompt:{{normalized_question}}}如果平台支持批处理使用批处理并发调用。如果不支持批处理就使用 4 个 HTTP 请求节点顺序调用。8. 模型调用方式方式 AHTTP 请求适合直接接各模型开放 API。每个模型配置一个 HTTP 请求节点HTTP_Qwen HTTP_DeepSeek HTTP_Zhipu HTTP_Kimi通用请求结构{model:{{model_name}},messages:[{role:user,content:{{normalized_question}}}]}输出统一保存为qwen_raw deepseek_raw zhipu_raw kimi_raw方式 B插件如果平台已有模型插件优先使用插件节点。插件节点插件通义千问 插件DeepSeek 插件智谱 插件Kimi统一输入{{normalized_question}}9. JSON 解析节点类型JSON反序列化分别解析四个模型返回结果qwen_answer deepseek_answer zhipu_answer kimi_answer统一成标准结构{model:Qwen,answer:模型回答内容,status:success}如果某个模型失败写入{model:Qwen,answer:该模型暂时无响应,status:failed}10. 回答压缩节点类型大模型作用把每个模型的回答压缩成适合眼镜展示的短文本。Prompt你是 AI 眼镜上的答案压缩器。 请将以下模型回答压缩成适合眼镜屏幕展示的版本 1. 保留核心观点 2. 控制在 3 行以内 3. 不要添加额外解释 4. 不要改变原意 模型名称{{model_name}} 原始回答{{answer}} 输出 JSON { model: {{model_name}}, short_answer: 压缩后的答案 }11. 对比总结节点类型大模型作用生成多模型回答总览。Prompt你是多模型答案对比助手。 请对以下多个 AI 模型的回答做简短对比 1. 用 3 条以内总结共同点和差异 2. 不要判断唯一正确答案 3. 不要过度扩展 4. 适合 AI 眼镜屏幕展示 用户问题 {{question}} Qwen {{qwen_answer}} DeepSeek {{deepseek_answer}} Zhipu {{zhipu_answer}} Kimi {{kimi_answer}} 输出 JSON { summary: 简短总览, cards: [ { model: Qwen, short_answer: ... }, { model: DeepSeek, short_answer: ... }, { model: Zhipu, short_answer: ... }, { model: Kimi, short_answer: ... } ] }12. 工作流输出最终输出结构{success:true,question:{{question}},summary:{{summary}},answers:[{model:Qwen,answer:{{qwen_short_answer}}},{model:DeepSeek,answer:{{deepseek_short_answer}}},{model:Zhipu,answer:{{zhipu_short_answer}}},{model:Kimi,answer:{{kimi_short_answer}}}],screen_text:{{summary}}}13. 眼镜端展示格式第一屏总览多模型回答完成 共同点 {{summary}} 说“看千问” 查看单个答案千问答案Qwen {{qwen_short_answer}} 说“下一个”DeepSeek 答案DeepSeek {{deepseek_short_answer}} 说“下一个”智谱答案Zhipu {{zhipu_short_answer}} 说“下一个”Kimi 答案Kimi {{kimi_short_answer}} 说“总结差异”14. Agent 路由规则用户提出普通问题 → 调用 MultiModelCompareWorkflow 用户说“看千问” → 展示 Qwen 答案 用户说“看 DeepSeek” → 展示 DeepSeek 答案 用户说“看智谱” → 展示 Zhipu 答案 用户说“看 Kimi” → 展示 Kimi 答案 用户说“总结差异” → 展示 summary 用户说“重新问” → 重新调用 MultiModelCompareWorkflow15. Agent 系统提示词你是 AI 眼镜上的多模型对比 Agent。 当用户提出问题时你需要调用 MultiModelCompareWorkflow同时向多个 AI 模型获取答案并把结果整理成适合眼镜屏幕展示的短文本。 规则 1. 默认调用 Qwen、DeepSeek、Zhipu、Kimi 四个模型。 2. 不要只给一个模型答案。 3. 不要替用户判断唯一正确答案。 4. 默认先展示多模型总览。 5. 用户指定某个模型时只展示该模型答案。 6. 每次眼镜展示最多 5 行。 7. 回答要短方便用户在眼镜上快速阅读。