今日拾光基于智能眼镜与百宝箱工作流的第一视角每日生活记忆助手本文介绍一个独立的智能眼镜应用项目——“今日拾光”。系统通过用户主动口述和眼镜第一视角图片记录当天发生的重要生活事件并将人物、地点、时间和场景线索整理为结构化记忆。用户随后可以通过自然语言查询“今天发生了什么”“我今天见过谁”等问题。摘要日常生活中的许多事件虽然重要却很容易随着时间被遗忘。传统相册能够保存图片但缺少事件语义普通聊天助手能够回答问题却无法可靠地区分“用户主动保存的记忆”和“普通聊天内容”。为此本文基于智能眼镜第一视角图像、百宝箱智能体工作流、多模态视觉语言模型和会话历史设计并实现“今日拾光”每日生活记忆助手。用户通过语音主动触发记录眼镜获取当前场景系统结合用户口述、时间和图像生成结构化生活记忆在后续查询中模型只检索带有特定记忆标记的历史记录避免将闲聊和推测错误地当作真实事件。本文重点介绍双入口工作流、意图分类、眼镜拍照插件、结构化记忆提示词、历史查询机制、安全约束、测试方案及持久化升级方向。关键词智能眼镜AI智能体多模态大模型生活记忆百宝箱工作流第一视角视觉1. 项目背景用户每天会经历大量生活事件例如家人来访、外出散步、参加活动、与朋友见面等。这些事件通常不会被专门写入日记时间久了便难以准确回忆。对于老年人和存在轻度记忆困难的用户常见问题包括今天见过谁上午去了哪里女儿今天是否来过刚才发生了什么今天已经记录了哪些重要事情传统照片只能保留视觉画面无法直接表达人物关系、事件含义和时间背景完全依赖大模型自由总结又可能将普通聊天、模型猜测和真实记录混在一起。“今日拾光”的核心思想是只有用户主动要求保存的事件才被标记为生活记忆图像负责补充场景用户口述负责确认事实。2. 项目定位与功能边界“今日拾光”是一个独立项目不依赖物品位置记忆、人物识别或用药计划等其他工作流。当前MVP提供两项核心功能记录当天发生的生活事件查询本次会话中已经记录的生活事件。系统主要处理家人或朋友来访 外出散步或参加活动 与某人见面 到达某个地点 用户主动希望保存的一段生活经历以下内容不属于本项目记住钥匙放在哪里 → 物品位置记录 记住降压药每天八点吃 → 用药计划 识别眼前的人是谁 → 人物识别 判断用户是否真的吃过药 → 高风险行为确认2.1 当前版本的记忆范围第一版使用百宝箱开始节点提供的历史对话信息保存和查询结构化记录因此记录与查询需要在同一个智能体会话中完成。关闭会话、清空对话或开启新会话后历史记录可能无法继续查询。这属于会话级记忆不等同于永久数据库。持久化存储将在后续章节讨论。3. 系统总体架构系统由眼镜交互端、百宝箱工作流编排层和云端模型层组成。用户语音 ↓ 智能眼镜交互端 ├── 语音指令采集 ├── 第一视角拍照 └── 结果显示与播报 ↓ 百宝箱工作流 ├── 输入方式判断 ├── 生活记忆意图识别 ├── 眼镜拍照插件调用 ├── 记录/查询任务路由 └── 结果返回 ↓ 云端模型 ├── 多模态事件理解 ├── 结构化记忆生成 ├── 历史记录检索 └── 自然语言组织图1插入位置[此处插入“今日拾光”系统总体架构图]3.1 眼镜端职责接收用户主动记录或查询指令在记录事件时拍摄第一视角图片播放拍照提示提醒用户保持视线稳定接收文字结果并通过语音播报。3.2 云端职责判断用户当前是记录还是查询将口述、时间和图像整理为结构化事件从会话历史中检索可靠记录控制输出长度生成适合眼镜端播报的结果。4. 百宝箱完整工作流本项目在百宝箱默认模板上修改保留上传图片调试和眼镜真机两条入口。开始 ↓ 输入方式判断 ├── 图片URL不为空 │ ↓ │ 上传图片记录模型 │ ↓ │ 上传记录结果 │ └── 图片URL为空 ↓ 生活记忆意图识别 ├── 记录生活事件 │ ↓ │ 眼镜拍摄当前事件 │ ↓ │ 眼镜事件记录模型 │ ↓ │ 眼镜记录结果 │ ├── 查询生活记忆 │ ↓ │ 生活记忆查询模型 │ ↓ │ 记忆查询结果 │ ├── 退出 │ ↓ │ 退出提示 │ └── 其他 ↓ 使用说明模型 ↓ 使用说明结果图2插入位置[此处插入修改完成后的百宝箱工作流截图]4.1 上传图片调试路径开始 → 输入方式判断 → 上传图片记录模型 → 上传记录结果该路径用于在眼镜不在线时调试视觉提示词和结构化输出。4.2 眼镜真机记录路径开始 → 输入方式判断 → 生活记忆意图识别 → 眼镜拍摄当前事件 → 眼镜事件记录模型 → 眼镜记录结果4.3 生活记忆查询路径开始 → 输入方式判断 → 生活记忆意图识别 → 生活记忆查询模型 → 记忆查询结果查询事件时不需要重新拍照。模型直接读取当前问题和历史对话中的结构化生活记忆避免无意义调用摄像头。5. 意图识别设计眼镜真机路径设置4个互斥意图。5.1 记录生活事件用于识别用户主动保存活动、见面和生活经历的请求。帮我记住这件事 记住女儿今天来看我了 帮我记录今天下午去公园散步了 记住我刚刚和小林吃了午饭 记录一下今天参加了社区活动 帮我保存这一刻5.2 查询生活记忆用于识别用户对已保存事件的回忆需求。今天发生了什么 我今天做过什么 女儿今天来过吗 我上午去了哪里 我今天见过谁 刚才发生了什么5.3 退出用于处理“退出、关闭、不用了、结束记录”等明确结束请求。5.4 其他用于处理问候、功能咨询和无关输入。该分支只介绍使用方法不启动摄像头。意图识别节点的识别内容必须重新绑定开始 → 当前对话信息不能沿用其他工作流复制过来的内部变量表达式否则可能因变量ID失效而全部进入“其他”。6. 眼镜拍照插件设计当用户触发“记录生活事件”时工作流调用眼镜拍照插件。拍照提示为请看向您想记录的场景并保持视线稳定我正在为您保存这段生活记忆。插件输出code拍照处理状态 data图片数据地址眼镜事件记录模型的图片输入引用眼镜拍摄当前事件 → data失败重试配置最大重试次数3次 重试间隔300毫秒异常回复暂时没有获取到清晰画面请重新看向想记录的场景再说一次“帮我记住这件事”。6.1 为什么不能只靠节点连线传图工作流连线只代表节点的执行顺序。视觉模型能否真正获得图片取决于模型“图片输入”中是否正确引用拍照插件的data字段。因此必须同时满足眼镜拍照节点 → 视觉模型节点以及视觉模型图片输入 眼镜拍照节点/data7. 结构化生活记忆设计每一条生活事件都输出统一格式【生活记忆记录】 事件发生了什么 人物涉及哪些人物 地点事件发生地点 时间事件发生时间 场景线索图片中与事件有关的可见信息 记录来源用户口述眼镜图片/用户口述 【用户提示】 已为您记住自然语言复述。统一标题“【生活记忆记录】”非常关键。后续查询模型只把带有该标题的内容作为可靠记忆从而避免把普通闲聊误认为已保存事件。7.1 信息可信度优先级本项目采用以下可信度顺序用户明确口述 高于 图片中可直接观察的事实 高于 模型推测模型推测不能写入正式记忆。例如用户说帮我记住这是我的女儿小芳她今天来看我了。系统可以记录“女儿小芳”因为姓名和关系由用户明确提供。如果用户只说帮我记住这个人来看我了。即使画面中出现一名年轻女性模型也不能自行写成“女儿小芳”。8. 视觉记录模型提示词上传图片记录模型与眼镜事件记录模型使用相同提示词仅图片来源不同。核心提示词如下# 角色 你是“今日拾光”每日生活记忆记录助手。 # 用户当前口述 {{开始/当前对话信息}} # 当前时间 {{环境参数/触发时间}} # 任务 根据用户口述、当前时间和输入图片生成一条准确、简洁、便于以后查询的结构化生活记忆。 # 记录原则 1. 用户主动说出的内容是主要记录依据。 2. 图片只补充当前能够明确看到的场景、活动和环境线索。 3. 不得通过图片猜测人物姓名、人物关系、精确地点、事件原因或用户情绪。 4. 人物姓名和关系只能来自用户明确口述。 5. 如果用户口述与图片不一致优先记录用户口述并注明当前图片无法确认。 6. 如果图片没有相关内容不得虚构应写“当前图片未提供有效补充信息”。 7. 只记录当前这一件事件不把其他历史聊天混入本条记录。 # 输出格式 【生活记忆记录】 事件…… 人物…… 地点…… 时间…… 场景线索…… 记录来源…… 【用户提示】 已为您记住用一句简短自然的话复述本次记录。8.1 时间字段如果百宝箱能够提供环境参数“触发时间”应将其作为模型输入。若暂时无法引用则使用用户明确说出的“今天上午、下午、刚才”等相对时间并将未提供的时间标记为“未确认”不能由模型随意生成。8.2 图片与口述不一致用户可能在事件结束后才要求记录此时眼镜当前画面与事件内容并不一致。例如用户回到房间后说记住我今天下午在公园散步了。这时应以用户口述为主体场景线索写为当前图片未提供与公园散步相关的有效补充信息。不能因为图片是室内环境就否定用户口述的公园事件。9. 会话历史查询机制生活记忆查询模型接收开始/当前对话信息 开始/历史对话信息 环境参数/触发时间查询模型只检索历史对话中带有【生活记忆记录】的内容。核心查询提示词如下# 角色 你是“今日拾光”生活记忆查询助手。 # 用户当前问题 {{开始/当前对话信息}} # 当前时间 {{环境参数/触发时间}} # 历史对话 {{开始/历史对话信息}} # 查询规则 1. 只把历史中带有“【生活记忆记录】”的内容作为可靠记忆。 2. 普通闲聊、模型猜测和使用说明不能作为已记录事件。 3. 根据问题中的时间、人物、地点和事件关键词筛选记录。 4. 找到多条记录时按照时间顺序排列。 5. 没有找到时必须说“当前会话中没有找到相关记录”。 6. 不得根据常识补全没有保存的事件。 7. 不得把“没有找到记录”表达成“事情没有发生”。 8. 回复简短自然适合眼镜语音播报。9.1 没有记录不等于没有发生如果用户询问我今天去医院了吗而历史对话中没有相关记录正确回复是当前会话中没有找到今天去医院的记录。 这只代表当前没有保存相关记录不代表您今天一定没有去过医院。不能直接回答“没有去”因为系统只能查询已保存记录无法证明现实中没有发生。10. 端侧与云端协同环节执行位置主要功能用户语音输入眼镜端触发记录或查询拍照提示眼镜端引导用户看向当前场景第一视角拍照眼镜端插件获取现场图像意图分类百宝箱云端区分记录、查询、退出和其他事件理解多模态模型融合口述、图像和时间结构化记忆生成多模态模型生成人物、地点、事件等字段历史记录检索文本大模型从会话历史查找可靠记录结果显示与播报眼镜端返回记录确认或回顾结果眼镜端主要完成感知和交互云端完成多模态理解和记忆查询。该方案避免在眼镜本地部署大型模型降低端侧算力和功耗压力。11. 测试方案测试应在同一会话中连续完成避免历史对话被清空。11.1 人物来访记录用户看向已同意出镜的队友说帮我记住今天下午我的队友小林来实验室找我了。预期生成【生活记忆记录】 事件队友小林今天下午来到实验室找用户。 人物队友小林。 地点实验室。 时间当前触发时间。 场景线索画面中可以看到一名人物位于室内。 记录来源用户口述眼镜图片。11.2 人物来访查询继续在同一会话询问今天谁来找过我预期今天下午您的队友小林来实验室找过您。11.3 多事件回顾先后记录今天下午小林来实验室找我。 今天傍晚我在学校操场散步。然后询问我今天做了什么预期按照时间顺序返回两条记录。11.4 不存在记录查询询问我今天去医院了吗如果没有相关记录系统只能回答“没有找到记录”不能回答“没有去医院”。11.5 无关输入输入你好。预期进入使用说明分支不调用摄像头。11.6 退出输入结束记录。预期直接结束不调用摄像头和视觉模型。图3插入位置[此处插入眼镜第一视角生活事件图片]图4插入位置[此处插入生活记忆记录结果截图]图5插入位置[此处插入后续自然语言查询结果截图]12. 建议测试指标指标说明意图识别准确率记录和查询指令是否进入正确分支图片获取成功率眼镜拍照插件成功返回图片的比例字段提取准确率人物、地点、时间和事件是否符合口述视觉补充合理性场景线索是否来自图片中的可见事实查询命中率已保存记录能否被对应问题找到无记录拒答率没有记录时是否避免虚构端到端响应时间用户说完到眼镜返回结果的时间测试记录建议至少包含测试指令 实际意图分支 眼镜图片 结构化记录 查询问题 实际查询结果 响应时间 是否符合预期13. 隐私与安全设计生活记忆涉及人物、地点、家庭环境和日常活动因此必须设置明确边界。13.1 用户主动触发只有用户明确提出“记住、记录、保存”等请求时才拍照和生成生活记忆。普通闲聊不会自动保存。13.2 人物信息来源模型不能通过外貌猜测姓名、关系、职业和身份。人物姓名与关系只能来自用户明确口述或已授权数据。13.3 不记录无关隐私视觉模型只补充与当前事件有关的场景不描述桌面文件、屏幕内容、家庭地址等无关信息。13.4 不进行高风险事实确认单张图片不能证明用户已经服药、锁门或完成治疗。本项目只记录生活事件不替代医疗、安防或法律确认。13.5 记录缺失的正确表达“当前没有找到记录”不等于“现实中没有发生”。查询模型必须明确区分这两个概念。14. 当前局限当前MVP存在以下限制记忆主要保存在同一会话历史中尚未实现跨会话持久化长对话可能受到历史上下文长度限制相对时间表达依赖触发时间和模型理解单张图片只能补充当前视野无法还原完整事件过程用户事后补记时当前画面可能与事件无关相似事件较多时仅依靠自然语言检索可能出现遗漏当前没有提供删除、修改和纠错已保存记录的独立流程。因此第一版更适合完成产品验证和演示不应被描述为完整的长期个人记忆数据库。15. 持久化升级方案要实现真正的跨会话生活记忆需要将结构化记录写入外部数据库。推荐数据结构{memory_id:事件唯一编号,user_id:用户编号,event:女儿小芳来家里看望用户,people:[小芳],relationship:[女儿],location:客厅,event_time:2026-07-15T15:30:0008:00,scene_clues:两人在客厅交谈,image_url:授权保存的图片地址,source:用户口述眼镜图片,created_at:记录创建时间,confidence:高,privacy_level:仅本人可见}升级后的写入流程眼镜拍照 → 多模态模型生成结构化JSON → JSON反序列化 → HTTP请求写入数据库 → 返回记录成功查询流程用户问题 → 提取时间、人物、地点和事件条件 → HTTP查询数据库 → 返回候选记录 → 大模型组织自然语言回答数据库还应支持用户授权与身份隔离记录修改、删除和导出图片与文本分级保存家属查看权限访问日志和数据加密定期清理和用户撤回授权。16. 后续功能方向16.1 记忆修改刚才那条记录里不是小林是小王。 把地点改成学校图书馆。16.2 记忆删除删除刚才那条记录。 不要保存今天下午的照片。16.3 每日摘要系统在用户主动请求后将当天记录整理为简短日记今天下午小林来实验室找您傍晚您在学校操场散步。16.4 时间轴和图片回顾在家属端或手机端按照时间展示事件卡片同时保留来源和授权状态。16.5 语义检索通过向量检索支持我最近一次和小林见面是什么时候 这个星期我参加过哪些活动 最近有哪些让我开心的事情其中情绪相关内容应优先采用用户主动标注避免模型仅凭表情猜测。17. 总结“今日拾光”利用智能眼镜第一视角把日常事件从“只拍下一张照片”升级为“可查询的结构化生活记忆”。系统通过百宝箱工作流连接语音输入、意图识别、眼镜拍照、多模态理解和历史查询实现了完整的记录与回忆闭环。本项目的关键设计包括只有用户主动触发的事件才写入生活记忆用户口述优先于视觉推测使用统一的“【生活记忆记录】”标记可靠内容记录时调用眼镜拍照查询时不重复调用摄像头找不到记录时明确区分“未保存”和“未发生”使用上传图片与眼镜真机双入口提高调试效率第一版使用会话历史验证闭环后续可升级为持久化数据库。该方案适合作为智能眼镜生活记录、老年人记忆辅助、个人事件回顾和家庭照护系统的基础原型。CSDN发布信息推荐标题今日拾光基于Rokid智能眼镜与支付宝百宝箱的第一视角每日生活记忆助手文章摘要本文介绍“今日拾光”智能眼镜每日生活记忆助手的设计与实现涵盖百宝箱工作流、眼镜拍照插件、多模态事件理解、结构化记忆生成、会话历史查询、安全约束及持久化升级方案。推荐标签AI智能体 智能眼镜 多模态大模型 工作流 记忆系统推荐分类专栏AI智能体开发实践