用rokid 做了一个恋爱助手 方便我们日常与情侣沟通

📅 2026/7/12 16:28:59
用rokid 做了一个恋爱助手 方便我们日常与情侣沟通
基于GPASS平台的LoveMate智能眼镜情侣陪伴系统设计与实现前言随着AR智能眼镜的普及可穿戴设备的轻量交互正在成为新一代人机交互入口。本文基于字节跳动GPASS智能体开发平台结合Rokid智能眼镜硬件设计并实现了一套面向情侣亲密关系陪伴的多智能体系统——LoveMate。系统采用「意图分流多Agent分工端云协同」架构在眼镜端实现表达优化、情绪陪伴、沟通复盘、关系记忆、成长分析五大核心能力全程语音交互、镜片轻量展示为亲密关系经营提供低负担的智能辅助方案。本文完整覆盖工作流架构设计、端侧/云端插件落地、核心技术方案选型可作为GPASS平台行业模板开发的参考案例。一、整体系统架构系统采用三层端云协同架构全链路在GPASS平台低代码搭建无需额外服务端开发1. 端侧层Rokid智能眼镜负责语音采集、文本结果显示、拍照画面采集仅做输入输出不承载模型推理2. 平台调度层GPASS工作流引擎负责意图路由、节点调度、变量透传、插件调用是整套系统的中枢3. 能力层云端大模型能力包括Ling-flash-2.0文本大模型负责意图识别、文本生成、Qwen-VL-Max视觉大模型负责拍照画面理解整体执行链路眼镜语音输入 → 工作流启动 → 意图识别分流 → 对应业务Agent处理 → 统一输出格式化 → 结果返回眼镜显示二、核心工作流设计详解工作流采用「入口-分流-分工-汇总-出口」的标准Multi-Agent流水线结构节点职责单一、可扩展、易排错完整适配GPASS可视化编排能力。2.1 入口节点参数统一接入开始节点作为全流程唯一入口承载三类输入• 业务输入自定义变量user_message接收眼镜端语音转写后的用户文本是全流程核心处理对象• 设备参数deviceModel、umidToken用于设备身份校验与端侧指令下发• 系统环境参数触发时间、经纬度、结构化附加数据为后续LBS场景、时间维度分析预留扩展位• 上下文能力默认携带3轮历史对话保障多轮交互的上下文连贯性2.2 意图分流模块Intent Router采用大模型前置分类方案使用Ling-flash-2.0轻量模型做纯标签输出是全流程的调度中枢。• 核心设计通过严格的Prompt约束强制模型仅输出单个英文标签无多余解释文本• 支持5类意图◦ expression表达优化需求帮我改说法、怎么回复◦ emotion情绪陪伴需求心情不好、委屈、生气◦ summary沟通复盘需求帮我复盘、总结刚才的对话◦ memory信息记忆需求记住这件事、保存纪念日◦ growth关系成长需求我们最近状态怎么样• 选型优势轻量模型推理延迟低标签式输出无冗余完美适配条件分支的精准路由避免自然语言输出导致的分支匹配失败核心Prompt片段你是LoveMate智能体任务分流中心。根据用户输入判断任务类型。只能输出以下一个英文标签expression / emotion / summary / memory / growth用户输入{{开始.user_message}}2.3 条件分支路由基于GPASS分支节点实现「1进5出兜底」的路由逻辑• 判断变量绑定大模型输出的intent字段采用「等于固定文本」匹配规则• 5条否则如果分支一一对应5类业务意图分支出口分别连接对应业务Agent• 兜底「否则」分支直接汇入最终输出节点防止意图识别异常导致流程中断保障现场演示稳定性2.4 多智能体业务层5个垂直Agent5个业务大模型节点横向并行每个节点仅负责单一领域任务Prompt垂直优化效果优于单一大模型全场景处理。Agent名称 核心职责 输入源 输出变量温柔表达优化 将直白话术改写为高情商表达适配情侣沟通场景 user_message expression_result情绪陪伴助手 共情用户情绪提供安抚与疏导承接情绪宣泄需求 user_message emotion_result沟通复盘助手 提炼沟通关键信息总结矛盾点与改进建议 user_message summary_result关系记忆管理 结构化提取用户输入中的关键信息沉淀关系记忆库 user_message memory_data关系成长分析 基于历史与当前信息输出关系状态评估与成长建议 user_message growth_result2.5 统一输出汇总层设置独立的「LoveMate最终回复」汇总节点是端侧显示体验的关键保障• 全量输入绑定同时接入5个业务Agent的全部输出变量自动忽略空白分支内容• 终端适配优化针对眼镜镜片显示区域有限的特点强制精简字数、优化换行、统一格式• 风格统一无论上游哪条分支执行最终都输出统一格式的文案保证产品体验一致性输出格式约束❤️ LoveMate建议[核心内容150字以内短句换行方便快速扫读]2.6 结束出口节点采用纯文本单消息输出方案• 仅绑定汇总节点的final_answer变量消息类型只勾选「文本消息」• 避免多消息类型叠加导致的内容覆盖、显示异常问题最大化眼镜端渲染稳定性三、端侧与云端插件运用3.1 端侧硬件交互适配眼镜语音交互链路依托GPASS眼镜模板原生能力实现端云无缝打通• 端侧语音采集后自动转写为文本注入user_message变量触发工作流• 工作流执行完成后文本结果自动推送到眼镜镜片显示无需额外接口开发• 设备身份参数umidToken全程透传支持多设备并发接入与权限校验眼镜设备拍照采集插件作为扩展能力模块实现视觉维度的情侣陪伴场景• 调用触发用户语音指令触发拍照调用眼镜原生相机采集当前视野画面• 返回参数输出拍照处理状态、图片数据地址两个字段供后续视觉模型调用• 典型场景识别对方面部表情、分析约会场景氛围结合视觉信息给出沟通建议3.2 云端模型插件调度系统采用双模型组合方案兼顾成本、速度与效果1. Ling-flash-2.0 文本大模型◦ 部署位置全量文本节点意图分流、5个业务Agent、汇总输出◦ 选型理由推理速度快、token成本低、中文能力优秀适配眼镜端低延迟交互要求◦ 调度策略流水线串行调用单节点单次推理全链路总耗时控制在秒级2. Qwen-VL-Max 视觉大模型◦ 部署位置拍照链路的VL模型节点◦ 选型理由多模态理解能力强支持画面描述、情绪识别、场景分析◦ 调用逻辑仅拍照场景触发常规文本交互不调用按需加载降低资源消耗3.3 全局变量体系设计通过GPASS全局变量能力实现跨节点数据共享与扩展预留• 环境参数层触发时间、经纬度、纬度为后续「纪念日提醒」「约会地点推荐」等LBS时间场景预留能力• 全局参数层设备信息、用户标识支持后续多用户记忆隔离与个性化配置四、核心技术方案说明4.1 Multi-Agent 分布式协作架构本项目核心技术亮点在于采用多智能体分工架构相比单一大模型方案有三大优势1. 效果更优每个Agent针对单一任务做Prompt深度优化垂直场景效果显著优于通用大模型2. 可扩展性强新增功能只需新增分支与对应Agent不改动原有链路迭代成本低3. 可解释性强流程可视化每一步执行路径清晰便于调试、排错与评委讲解4.2 意图前置分流的性能优化采用「先分类、后处理」的前置分流方案而非全量Prompt塞入单一大模型• 降低无效token消耗无需把所有场景的系统提示词都带入单次推理• 缩短响应延迟轻量模型做分类业务模型仅执行对应任务全链路推理步数更短• 故障隔离单一场景Prompt异常不影响其他分支系统鲁棒性更强4.3 端云协同的轻量化方案针对智能眼镜算力有限、续航敏感的特点采用「端侧做交互、云端做推理」的端云协同方案• 端侧仅负责采集与显示不承载任何模型推理降低硬件功耗• 云端统一调度大模型能力迭代升级无需用户更新硬件• 依托GPASS平台原生算力调度无需自行搭建服务器与模型服务4.4 关系记忆的长效设计Memory独立Agent的设计是产品长期价值的核心• 结构化提取用户输入中的关键信息纪念日、喜好、重要事件• 可对接外部存储实现持久化记忆沉淀支撑关系成长分析• 区别于普通对话机器人的短时上下文实现真正的长期关系陪伴4.5 演示级容错机制针对比赛现场演示场景做了多层兜底设计• 意图识别异常兜底分支直接输出通用回复不中断流程• 空白分支处理汇总节点自动忽略未执行分支的空变量不会出现空白内容• 单一节点故障分支间相互独立单Agent异常不影响其他功能模块五、部署与发布整套工作流在GPASS平台完成编排调试后通过「发布」功能一键上线绑定眼镜交互模板即可投入使用1. 工作流调试通过平台「运行」按钮做单步调试验证各分支执行路径与输出效果2. 模板配置配置眼镜端欢迎语、产品Logo、交互模块完成前端展示定制3. 发布上线绑定硬件设备后Rokid眼镜端即可语音唤起使用六、总结与展望本文基于GPASS低代码平台快速落地了一套面向情侣陪伴的智能眼镜多智能体系统验证了「可视化编排端云协同Multi-Agent」方案在可穿戴场景的可行性。系统无需复杂开发即可完成从硬件交互到云端推理的完整闭环为AR眼镜场景的垂直AI应用提供了可复用的架构参考。后续优化方向1. 接入持久化记忆存储实现跨会话的关系数据沉淀2. 扩展更多视觉场景如约会场景识别、礼物推荐等3. 优化离线轻量能力保障无网络环境下基础功能可用4. 增加多人交互模式支持双方眼镜联动的双向陪伴