适配 Rokid AR 眼镜的百宝箱客服陪练工作流完整技术方案CSDN 发布版一、项目整体背景1. 平台底座基于支付宝百宝箱T-Box低代码 AI 工作流引擎可视化搭建客服陪练 DAG 流程无代码拖拽编排对话逻辑、分支判断、LLM 打分节点最终输出适配 Rokid AR 智能眼镜端的轻量化 AI 对话应用面向线下门店客服、线下销售做实景话术培训。2. 硬件适配目标Rokid AR 眼镜设备特性头戴双目显示、语音全双工交互、窄带宽低算力、单通道语音输入输出、极简卡片式 UI、无复杂触屏操作适配核心约束交互以语音为主前端卡片轻量化禁止复杂弹窗、多表单流程执行链路轻量化减少冗余节点降低眼镜端网络延迟全局变量仅保留会话核心字段减少内存占用报错、权限提示做语音播报兜底兼容无屏幕精细操作场景。二、可视化工作流架构分层对应截图画布1. 左侧全局变量会话管理层适配 AR 轻量化改造环境参数系统内置Rokid 端自动透传 userId眼镜设备唯一标识 ID区分头戴设备会话 触发时间语音消息上报时间戳用于超时断连判断 经度/纬度线下门店定位适配门店专属业务话术 附加数据门店工号、培训批次、眼镜设备型号 全局参数业务状态单会话内存缓存 mode控制流程三大分支状态 train模拟客户陪练模式 review对话复盘打分模式 file导入文件批量训练模式AR 适配优化点剔除无用上下文仅保留会话必需变量适配眼镜端低内存userId复用 Rokid 设备 SN 码替代手机用户 ID实现设备绑定培训定位参数用于线下门店场景自动匹配行业门店快消/3C/汽车无需手动输入。2. 画布核心 DAG 节点链路两张截图对应两大核心判断分支整个流程是线性多分支有向无环图两大核心条件节点对应截图右侧配置面板分支 1重新开始判断分支第一张截图节点用途拦截用户语音指令#RESET、重新开练、切换模式多条件或逻辑匹配指令文本分流重置流程条件规则文本包含「重新、重开、切换」任一关键词即命中重置分支AR 适配逻辑眼镜语音识别捕获口语化指令“重来一遍”“换个场景”无需精准输入代码重置时清空全局mode、历史对话缓存释放眼镜端会话内存重置完成后语音播报“已重置请输入训练指令”。分支 2导入文件判断分支第二张截图节点用途判断是否上传对话样本文件条件为「文件变量不为空」报错解析截图顶部Card_Permission_Denied:无卡片访问权限适配 Rokid 问题根源AR 眼镜端轻量化 UI 不支持文件上传卡片组件移动端文件上传卡片在头戴设备无渲染权限触发权限拦截报错。适配方案线下眼镜端屏蔽文件上传分支仅 PC 后台支持样本导入增加设备类型判断全局变量Rokid 设备直接跳过文件判断分支不渲染上传卡片报错增加语音兜底播报“当前设备不支持文件导入请使用手机/电脑上传样本”。全流程标准节点链路从启动到复盘闭环入口触发节点接收 Rokid 眼镜语音文本输入写入user_text临时变量前置判断节点核心 AI 节点前置判断器 Prompt执行你提供的「前置判断器 Prompt」逻辑识别用户语音是否触发开练指令开始练/模拟客户/训练等输出actionstart/help标准 JSON 结构化数据供下游分支路由分支路由分流路由 Aactionstart进入陪练主链路解析start_config生成场景参数调用 LLM 模拟客户对话路由 Bactionhelp进入答疑节点读取help_text转语音推送到 Rokid 眼镜扬声器多轮对话循环节点维持对话上下文持续接收眼镜语音交互结束指令判断#END切换全局modereview进入复盘打分分支复盘 LLM 节点评分教练 Prompt读取完整history对话输出标准化复盘 JSON 评分卡片数据输出渲染节点将评分卡片、对话文本适配 Rokid 极简 UI下发语音播报双目屏幕轻量化卡片3. 顶部双 Tab 架构逻辑与 UI 解耦适配 AR 关键流程逻辑 Tab当前编辑页纯后端 DAG 调度、大模型调用、分支判断、数据处理完全不依赖前端组件同一套逻辑可同时适配手机小程序PC 后台Rokid 眼镜三端。用户界面 TabAR 单独一套 UI 模板两套独立 UI 模板隔离移动端/PC完整卡片、文件上传按钮、多行输入框Rokid AR 眼镜定制 UI移除文件上传、复杂表单、多弹窗仅保留极简文字卡片、语音状态提示、单条打分摘要适配双目窄屏排版字号放大减少文字密度所有交互按钮替换为语音指令触发降低头戴操作成本。三、两大核心自定义 LLM 节点 Prompt 技术规范可直接复用1. 前置判断器节点路由分流核心作用接收用户语音文本输出标准化 JSON驱动 DAG 分支跳转解决 AR 语音口语化识别模糊问题核心能力语义等价匹配口语“我想练一下”等价“开始练”、自动补全场景参数无输入时填充中等难度、通用行业、理性客户风格输出约束仅 JSON无多余文本引擎可直接解析字段分流适配低算力 AR 端快速解析。2. 复盘评分教练节点训练结果输出作用对话结束后批量读取历史对话输出结构化打分卡片 JSON包含 4 大维度分数、问题清单、优化建议适配 Rokid 优化problemsList、suggestionsList控制单条文字长度适配眼镜小屏展示同时支持逐条语音朗读。四、Rokid AR 眼镜端适配专项技术改造点1. 网络与性能优化节点裁剪移除文件解析、大数据导入等重算力节点眼镜端链路仅保留对话判断LLM 轻量调用上下文压缩历史对话缓存做截断超过 10 轮自动精简适配眼镜低内存接口轻量化百宝箱下发至 AR 的接口只返回纯文本 JSON不携带大图、富文本降低传输带宽。2. 权限报错修复截图 Card_Permission_Denied 问题新增设备类型全局变量device_typeRokid/phone/pc在「导入文件判断分支」前置增加条件若device_typeRokid直接走「否则」分支跳过文件上传逻辑UI 层做组件权限拦截Rokid 设备不加载上传卡片组件从根源消除无权限报错。3. 语音交互适配所有节点输出文本自动挂载 TTS 语音播报眼镜端扬声器同步播放支持口语化模糊指令识别弱化固定命令词#START/#END兼容线下客服自然说话习惯超时断连机制眼镜无语音输入 60s 自动重置流程释放设备资源。4. 线下业务场景适配通过全局经纬度门店附加数据自动填充start_config行业参数汽车 4S 店佩戴眼镜自动industry汽车category销售线下数码门店industry3C 电子category咨询/售后无需客服手动输入降低头戴设备操作门槛。五、完整端到端数据流Rokid 眼镜交互流程客服佩戴 Rokid 眼镜唤醒语音助手说出指令“我要练投诉场景”眼镜语音 ASR 转文字通过设备通道透传给百宝箱工作流自动携带userId(设备 SN)、经纬度、device_typeRokid全局变量流程入口接收文本进入「前置判断 LLM 节点」输出actionstart自动填充 start_configdifficulty中等category投诉industry通用style情绪化goal安抚客户处理百元商品售后投诉DAG 路由分流至陪练链路LLM 生成情绪化投诉客户话术下发至眼镜屏幕展示文字语音播报客服口头回复语音再次上传循环对话多轮交互客服说“结束复盘”流程切换modereview调用评分教练 LLM 生成标准化复盘 JSON适配 Rokid 轻量化评分卡片渲染双目屏幕展示总分、四大维度得分、简短问题与建议逐条语音朗读客服说“重新来”进入「重新开始判断分支」清空会话缓存重置训练场景。六、架构优势CSDN 文章亮点一套流程多端复用百宝箱 DAG 逻辑一次编排同时适配手机、PC、Rokid AR 眼镜仅通过 UI 模板设备分支做差异化无代码快速迭代无需修改后端接口、硬件驱动拖拽节点、修改 Prompt 即可更新客服培训场景轻量化适配头戴设备针对性裁剪重资源节点、隔离文件上传权限、优化语音窄屏展示标准化结构化输出LLM 统一输出 JSON 格式数据前端 AR 渲染层无需复杂解析降低硬件开发成本线下场景深度绑定利用眼镜定位、设备标识自动匹配门店行业降低线下客服操作成本。