端云协同 AI 眼镜系统 — 技术架构与工作流设计Document Index01系统架构总览02核心工作流设计03端侧技术方案04云端技术方案05插件体系设计06端云协同机制07弱模型友好设计08安全与数据合规01 系统架构总览本系统采用端云协同架构以 Rokid AR 眼镜为边缘计算节点以内网私有化部署的云端服务为业务中枢。端侧负责实时视觉感知、语音交互和 AR 渲染云端负责业务逻辑、数据检索和复杂推理。两者通过低延迟 WebSocket 长连接通信确保现场作业的实时性和可靠性。系统架构分层: ▸ 用户层 [运维人员] 佩戴 Rokid 眼镜 | 语音 手势 注视交互 ▸ 端侧 (Rokid) [视觉感知引擎] 设备铭牌 OCR | 资产标签识别 | 工序动作检测 [语音交互引擎] ASR 语音转文字 | NLU 意图理解 | TTS 语音播报 [AR 渲染引擎] SOP Checklist 叠加 | 设备数据浮窗 | 告警高亮标注 [端侧推理引擎] 轻量模型推理 | 模板匹配 | 规则校验 ▸ 通信层 [WebSocket 长连接 gRPC 同步调用] 内网专线 / 5G 专网 | 端到端延迟 200ms | 断网降级端侧缓存 SOP 离线识别 ▸ 云端 (内网) [业务服务层] 工单管理 | SOP 引擎 | 五防校验 [数据服务层] 设备台账 | 检修记录 | 试验报告 [AI 服务层] 复杂视觉推理 | LLM 对话 | 知识检索 [基础服务层] 用户认证 | 权限管理 | 日志审计 ▸ 数据层 [PostgreSQL] 工单 / 台账 / 用户 [MinIO] 图片 / 录像 / 模型 [Redis] 会话 / 缓存 / 锁 [Elasticsearch] 日志 / 全文检索架构设计原则端侧优先处理实时性要求高的任务视觉识别 100ms、语音响应 500ms、AR 渲染 60fps云端处理数据密集型和逻辑复杂型任务。断网时端侧可独立运行基础 SOP 流程联网后自动同步数据。02 核心工作流设计系统覆盖两大核心作业场景倒闸操作和设备巡视。以下分别描述端到端工作流标注每个步骤的执行位置端侧 / 云端 / 混合。2.1 倒闸操作流程步骤 1工单加载与任务初始化运维人员语音唤醒眼镜说出工单编号或扫描工单二维码。系统从云端拉取工单详情、关联 SOP 模板和设备清单缓存至端侧本地。标签云端, 端侧缓存步骤 2设备定位与识别人员走到目标设备前端侧摄像头自动捕捉设备铭牌通过 OCR 模板匹配识别设备编号。识别结果与工单中的设备清单比对确认走对间隔。标签端侧实时, 云端校验步骤 3SOP Checklist 叠加显示确认设备正确后AR 视野右侧叠加当前设备的 SOP 操作步骤清单。当前步骤高亮已完成步骤打钩未到达步骤置灰。标签端侧渲染步骤 4操作步骤执行与实时校验人员执行操作如拉开 XX 开关端侧通过动作检测 语音确认判断步骤是否完成。每步完成后自动打钩。若检测到跳步或误操作立即触发语音告警五防校验未通过禁止开锁。标签端侧检测 云端五防步骤 5五防逻辑校验关键操作前端侧将操作意图发送至云端五防引擎。云端根据当前设备状态、拓扑关系和防误规则进行校验返回允许/禁止指令。延迟要求 300ms。标签云端步骤 6操作记录与归档全部步骤完成后系统自动生成操作记录含每步时间戳、设备状态快照、现场录像片段上传云端归档。支持后续审计追溯。标签端侧采集, 云端归档2.2 设备巡视流程步骤 1巡视任务加载语音启动巡视任务系统加载巡视路线和设备清单。端侧进入持续识别模式摄像头保持低功耗扫描状态。标签云端, 端侧步骤 2设备自动识别人员注视设备时端侧通过资产标签二维码/RFID/铭牌文字自动识别设备身份。识别成功后视野中浮现设备信息卡片。标签端侧实时步骤 3设备数据浮窗展示信息卡片显示当前运行参数电压/电流/温度、上次检修日期和结论、下次试验日期、历史缺陷记录。数据从云端实时拉取端侧缓存最近访问过的设备数据。标签云端数据, 端侧渲染步骤 4语音记录缺陷人员发现异常时语音描述缺陷如A 相套管有渗油痕迹端侧 ASR 转写后发送至云端自动关联设备编号生成缺陷工单。同时拍照留存。标签端侧采集 云端处理步骤 5巡视报告自动生成巡视结束后系统汇总所有设备的检查状态、缺陷记录和照片自动生成巡视报告推送至云端供审核。标签云端03 端侧技术方案Rokid 眼镜基于 Android 系统搭载高通 XR 平台芯片。端侧软件以 Android App 形式部署核心模块如下视觉感知引擎基于轻量级 CNN OCR pipeline。设备铭牌识别采用 DBNet 文字检测 CRNN 文字识别针对电力设备铭牌做专项微调。资产标签识别支持二维码ZXing和 RFIDNFC 模块。工序动作检测采用 MobileNetV3 时序模型识别分闸/合闸/验电/接地等关键动作。语音交互引擎ASR 采用 Whisper-tiny 或 Paraformer-small 端侧部署支持电力专业术语热词增强。NLU 采用意图分类 槽位填充的轻量方案TextCNN/BERT-tiny识别确认步骤查询设备记录缺陷等意图。TTS 采用端侧合成用于 SOP 步骤播报和告警提示。AR 渲染引擎基于 Rokid SDK 的 AR 渲染框架支持 6DoF 空间锚定。SOP Checklist 锚定在视野右侧固定区域设备信息浮窗跟随设备空间位置。告警信息以红色闪烁边框 语音双重提示。渲染帧率目标 60fps延迟 16ms。端侧推理引擎采用 MNN / TFLite 推理框架部署量化后的轻量模型INT8 量化模型大小 50MB。对于弱模型场景优先使用模板匹配和规则引擎替代大模型推理。端侧缓存常用 SOP 模板和设备基础数据支持离线运行。3.1 端侧模型选型任务模型方案模型大小推理延迟精度目标铭牌文字检测DBNet-Mobile (INT8)~8MB 30msmAP 90%铭牌文字识别CRNN CTC (INT8)~12MB 20ms准确率 95%资产标签/二维码ZXing / 模板匹配 1MB 10ms准确率 99%工序动作识别MobileNetV3 LSTM~15MB 50ms准确率 85%语音识别 (ASR)Paraformer-small / Whisper-tiny~40MB 200msCER 8%意图理解 (NLU)TextCNN / BERT-tiny~5MB 10ms准确率 92%⚠️弱模型适配策略当端侧算力受限或模型精度不足时采用端侧初筛 云端精判的级联方案。例如铭牌识别端侧给出 Top-3 候选云端结合工单上下文做最终判定。对于动作识别端侧仅做有/无动作检测具体动作类型由云端视频流分析确认。04 云端技术方案云端服务以内网私有化部署采用微服务架构。核心服务模块如下工单与 SOP 引擎管理倒闸操作工单、巡视任务工单的生命周期。SOP 引擎将标准操作步骤结构化为有向图支持步骤依赖关系、条件分支和动态跳过逻辑。每个 SOP 节点关联设备类型、操作类型和五防规则。五防校验引擎基于电力防误操作规则库实现防止误分合断路器、防止带负荷拉合隔离开关、防止带电挂接地线、防止带接地线合断路器、防止误入带电间隔五大防误逻辑。采用规则引擎Drools实现支持规则热更新。设备台账服务对接 PMS生产管理系统或独立台账数据库提供设备基础信息、运行参数、检修历史、试验报告的统一查询接口。支持按设备编号、位置、类型等多维度检索。数据同步采用定时增量 实时变更推送。AI 推理服务部署云端大模型7B 级别内网部署用于复杂场景理解、多轮对话和知识问答。视觉推理服务接收端侧上传的图片/视频帧执行高精度设备识别和缺陷检测。LLM 通过 RAG 检索增强对接电力规程文档库。4.1 云端服务接口设计# 核心 API 接口定义 (gRPC REST 双协议) ​ # 工单服务 POST /api/v1/work-orders/{id}/load # 加载工单及关联 SOP GET /api/v1/work-orders/{id}/status # 查询工单执行状态 POST /api/v1/work-orders/{id}/complete # 完成工单并归档 ​ # 五防校验服务 POST /api/v1/safety/check # 操作前五防校验 # Request: { device_id, operation_type, current_state } # Response: { allowed: bool, reason: string, rule_id: string } ​ # 设备台账服务 GET /api/v1/devices/{device_id}/info # 设备基础信息 GET /api/v1/devices/{device_id}/history # 检修/试验历史 GET /api/v1/devices/{device_id}/params # 实时运行参数 ​ # AI 对话服务 (WebSocket) WS /api/v1/ai/chat # 多轮对话 知识问答 # 支持 RAG 检索电力规程文档 ​ # 缺陷记录服务 POST /api/v1/defects/create # 创建缺陷工单 # Request: { device_id, description, images[], severity }4.2 五防校验引擎设计五防校验是本系统的核心安全模块采用规则引擎 拓扑分析双轮驱动。规则库基于《电力安全工作规程》和变电站防误操作规范建模每条规则包含前置条件、校验逻辑和处置建议。# 五防规则示例 (Drools DSL) ​ rule 防止带负荷拉合隔离开关 when $op: OperationRequest(type 拉开隔离开关) $device: Device(id $op.deviceId) $breaker: Breaker(associatedDevice $device.id, status CLOSED) then $op.setAllowed(false); $op.setReason(关联断路器未断开禁止操作隔离开关); $op.setRuleId(WF-002); end ​ rule 防止带电挂接地线 when $op: OperationRequest(type 挂接地线) $device: Device(id $op.deviceId, voltageLevel 0) then $op.setAllowed(false); $op.setReason(设备带电禁止挂接地线。请先确认停电并验电。); $op.setRuleId(WF-003); end05 插件体系设计系统采用插件化架构端侧和云端均通过插件机制扩展能力。插件遵循统一的输入/输出契约支持热插拔和版本管理。以下列出核心插件清单5.1 端侧插件[EDGE] device-recognizer设备铭牌与资产标签识别插件。输入摄像头画面帧输出设备编号、设备类型和置信度。支持 OCR 识别、二维码扫描和 RFID 读取三种模式自动选择最优识别通道。Input:CameraFrame (NV21, 1080p)Output:{ device_id, type, confidence, source }[EDGE] action-detector工序动作检测插件。基于连续视频帧分析操作人员的动作序列识别分闸、合闸、验电、接地、挂牌等标准工序动作。输出动作类型、时间戳和置信度。Input:VideoStream (30fps, ROI region)Output:{ action_type, timestamp, confidence }[EDGE] voice-interaction语音交互插件。整合 ASR、NLU、TTS 三个子模块提供完整的语音输入输出能力。支持电力专业术语热词表动态加载支持确认、跳过、查询、记录四大意图分类。Input:AudioStream (16kHz, mono)Output:{ intent, slots[], text, tts_audio }[EDGE] ar-overlayAR 叠加渲染插件。负责将 SOP Checklist、设备信息浮窗、告警提示等 UI 元素渲染到 AR 视野中。支持空间锚定跟随设备和固定锚定视野固定位置两种模式。Input:OverlayData (checklist, float_card, alert)Output:AR Render Frame (60fps)5.2 云端插件[CLOUD] safety-check-engine五防校验引擎插件。基于 Drools 规则引擎实现接收操作请求和设备状态执行防误规则校验。规则库支持热更新无需重启服务。返回校验结果和处置建议。Input:{ device_id, operation, current_state, topology }Output:{ allowed, reason, rule_id, suggestion }[CLOUD] device-ledger设备台账查询插件。对接 PMS 系统或独立台账库提供设备全生命周期数据的统一查询接口。支持缓存加速最近访问设备数据在 Redis 中缓存 30 分钟。Input:{ device_id, query_type: info|history|params }Output:{ device_info | history_records | realtime_params }[CLOUD] ai-chat-ragAI 对话与知识检索插件。基于 7B 级别本地大模型 RAG 检索增强对接电力安全规程、操作规范、设备手册等文档库。支持多轮对话上下文管理回答电力专业问题。Input:{ message, context_history[], device_id? }Output:{ response, sources[], confidence }[CLOUD] visual-refinement视觉精判插件。接收端侧上传的模糊识别结果利用云端更强算力执行高精度识别。用于端侧置信度低于阈值时的级联补救提升整体识别准确率。Input:{ image, edge_candidates[], task_type }Output:{ refined_result, confidence, method }06 端云协同机制6.1 通信协议通信类型协议场景延迟要求实时指令WebSocket (Binary)SOP 步骤同步、五防校验请求/响应、告警推送 200ms数据查询gRPC (Protobuf)设备台账查询、工单状态更新、缺陷提交 500ms文件传输HTTP/2 MinIO现场照片上传、录像片段归档、模型更新 5s (1MB)AI 对话WebSocket (SSE)LLM 流式对话、知识问答首 token 1s6.2 断网降级策略✅离线可用保障系统在设计上保证断网时核心功能不中断。端侧预缓存当前工单的完整 SOP 流程、设备基础信息和五防规则快照。断网后自动切换至离线模式视觉识别和 SOP 引导正常工作五防校验使用端侧缓存的规则集操作记录暂存本地联网后自动同步。离线可用SOP 步骤引导、设备铭牌识别、语音指令解析、操作记录暂存、缓存数据展示降级运行五防校验使用缓存规则、设备数据显示最近一次缓存值、AI 对话不可用离线不可用实时运行参数查询、云端视觉精判、工单归档同步、缺陷工单提交6.3 数据同步机制端云数据同步采用增量同步 冲突解决策略。端侧维护操作日志的本地 SQLite 数据库每条记录包含 UUID、时间戳和操作类型。联网后通过 WebSocket 批量上传未同步记录云端按时间戳排序合并。若同一设备存在并发操作极小概率以云端五防引擎的最终校验结果为准。07 弱模型友好设计⚠️设计约束本系统部署于内网环境模型能力可能受限端侧仅能运行量化小模型云端可能仅部署 7B 级别本地模型。因此架构设计遵循弱模型友好原则不依赖大模型的强推理能力通过工程化手段弥补模型能力不足。级联识别策略端侧轻量模型做初筛Top-K 候选云端精判模型做最终确认。即使端侧模型精度只有 80%通过级联可将整体准确率提升至 95% 以上。级联失败时回退到人工确认。模板匹配优先对于设备铭牌识别优先使用模板匹配预录入的铭牌模板库而非纯 OCR。模板匹配对模糊、反光、倾斜等场景鲁棒性更强且不依赖模型推理能力。规则引擎兜底五防校验、SOP 步骤校验等关键安全逻辑全部基于确定性规则引擎实现不依赖 AI 模型判断。AI 仅用于辅助感知识别设备、理解语音安全决策由规则引擎做出。RAG 替代微调云端 LLM 不做领域微调而是通过 RAG检索增强生成对接电力规程文档库。7B 模型 高质量检索上下文即可达到接近微调的效果且知识更新只需更新文档库。7.1 模型能力分级与适配能力等级端侧配置云端配置适配策略L1 基础INT8 量化模型模板匹配为主7B 本地模型L2 标准FP16 模型OCR 动作识别7B 模型 RAGL3 增强多模型协同实时动作序列理解13B 模型推荐部署方案内网环境建议按 L2 标准配置部署。端侧部署 INT8 量化的 DBNet CRNN Paraformer-small云端部署 7B 模型如 Qwen2.5-7B RAG Drools 规则引擎。此配置在 RTX 4080 级别 GPU 上可流畅运行满足实时性要求。08 安全与数据合规数据安全全链路数据加密TLS 1.3端侧本地数据 AES-256 加密存储。电力设备数据属于关键基础设施信息全部在内网闭环处理不上传公网。操作录像按安全等级分级存储到期自动归档。身份认证眼镜绑定工号 人脸双重认证。操作权限与工单绑定非本工单人员无法执行操作。五防校验结果与操作人身份关联确保责任可追溯。审计合规所有操作记录含时间戳、操作人、设备状态、五防校验结果、现场录像完整留存满足电力安全规程的审计要求。日志不可篡改支持第三方审计导出。可用性保障端侧离线可用确保网络中断时不影响作业安全。云端服务双机热备RPO 1 分钟。关键操作的五防校验结果本地缓存断网不丢失安全屏障