个人主页小年糕是糕手个人专栏《C》《数据结构》《Blender 修行笔记》《AI》你不能左右天气但你可以改变心情你不能改变过去但你可以决定未来目录一、当前观察为什么不足以支持连续操作1. 物体还在那里不代表任务还在原来的步骤2. 为什么不把所有历史画面都输入模型二、MEM短期视觉历史与长期语言摘要1. 两条记忆路径分别负责什么2. 短期记忆怎样控制计算开销3. 发出指令不等于已经完成动作三、失败以后如何调整理解上下文适应1. 桌面变低以后原来的抓法还适用吗2. 冰箱拉不开能不能换一侧尝试四、IMPRINT视觉、动作与本体状态一起记1. 清理桌面为什么需要记住清理之前的画面2. 多路历史分别提供什么信息3. 为什么要分两阶段训练4. MEM 与 IMPRINT 的区别在哪里五、实验结果怎么读成功率和任务进度要分开1. IMPRINT 的清桌成绩2. MEM 的任务进度不能换成完整成功率六、从两篇研究中能提炼出哪些实现思路1. 先明确记忆要解决哪一种信息缺失2. 区分动作请求与执行结果3. 记忆模块也需要训练而不只是接线4. 把计算延迟纳入评估七、记忆的价值要在下一步动作里验证参考论文机器人抓空一次以后为什么还会照着原来的方式再抓桌面已经清理过为什么又开始重复清理东西都放回了桌子为什么左右顺序还是错的这些问题不一定能靠更准确的物体识别解决。当前画面能告诉机器人“现在看到了什么”却未必能告诉它“刚才发生过什么”。VLA 是 Vision-Language-Action 的缩写即视觉语言动作模型。这类模型把视觉观察、语言指令等输入与机器人的动作预测连接起来。但能根据眼前画面完成一次抓取与能连续处理一项家务仍然是两种不同的能力。本文结合 MEM 与 IMPRINT 两篇具身智能研究讨论历史信息如何进入动作策略、短期细节与长期进度怎样分工以及实验结果究竟能支持什么结论。文中实机成绩均来自论文作者报告。一、当前观察为什么不足以支持连续操作1. 物体还在那里不代表任务还在原来的步骤先看一个备料任务按要求取好锅、土豆、牛奶、黄油和捣泥器并放到指定位置。抓起一件物品只是其中一步。机器人还要知道哪些用品已经取过、哪些门需要关闭以及眼前这次抓取是否仍然属于刚才的子任务。转身去取下一件东西以后前面的操作可能已经离开相机视野。MEM 的备料实验就涉及这类要求。指令给出物品、初始位置与目标位置机器人需要依次完成取放并处理开过的门或抽屉。[1]如果策略只读取当前观察可以把它的信息流简写为当前观察任务指令 → 策略模型 → 下一段动作这里的观察可以包含图像和机器人自身状态动作也可能是一段动作块而非单个控制量。具体表示取决于所用模型。问题在于不同历史可能产生相似的当前观察。洗过的盘子与还没洗过的盘子未必能从某一帧图像里可靠地区分目标被遮挡以后当前画面也可能缺少此前已经看到的位置线索。这属于部分可观测问题机器人得到的观察并没有完整包含作决策所需的任务状态。记忆模块的作用就是把历史中仍有用的信息带到当前决策里。2. 为什么不把所有历史画面都输入模型最直接的方案是保存每一帧然后让模型每次都读取整段历史。它容易理解但在直接拼接历史的实现中输入规模、计算开销和推理延迟都会随历史增长。对机器人来说延迟还会影响控制。模型计算下一段动作时夹爪可能已经移动接触状态可能发生变化手里的物体也可能继续滑动。此外能够访问历史不代表模型已经学会正确利用历史。示范里某些偶然的相关性也可能成为预测动作的捷径。MEM 与 IMPRINT 都把“如何训练模型使用记忆”作为设计的一部分。[1][2]因此真正需要确定的是哪些信息值得保留怎样压缩历史控制计算开销训练时怎样让历史信息参与动作决策。保存得更多和使用得更好是两个需要分别解决的问题。二、MEM短期视觉历史与长期语言摘要MEM 的全称是 Multi-Scale Embodied Memory。它把不同时间尺度的记忆交给不同表示处理再通过高低层策略配合完成任务。[1]1. 两条记忆路径分别负责什么继续看备料。假设材料已经备齐但捣泥器第一次没抓稳。系统一方面需要记得“还有这件工具没拿到”另一方面也需要保留夹爪刚才怎样靠近、物体怎样滑开的细节。这两类信息的粒度不同。路径主要保留的信息参与决策的方式长期语言记忆已完成的步骤、较早的重要事件、仍需处理的任务状态高层策略读取并更新摘要选择下一项子任务短期观察记忆近期视觉变化及相关机器人状态低层策略结合近期观察、子任务与任务目标预测动作块高层策略的输入包括当前观察、任务目标和已有语言记忆输出包括下一项子任务以及更新后的语言记忆。低层策略根据子任务和近期观察执行具体操作。可以把这套分工理解为两条相互配合的流程高层当前观察任务目标已有语言记忆 → 更新记忆、选择子任务。低层近期观察历史子任务任务目标 → 预测并执行动作块。这只是信息流的简化不包含模型内部的完整训练结构。这种分工使系统可以用相对紧凑的语言表示追踪进度同时保留局部动作需要的观察细节。“多尺度”指向的是信息表示与决策用途而不只是把录像按时长分成两段。2. 短期记忆怎样控制计算开销MEM 对视觉编码器引入了时间信息处理在处理单张图像内部空间关系的同时让不同时间的观察交换信息。在进入后续 VLA 主干前论文实现只保留当前时刻对应的视觉表征。此前的观察已经参与编码历史信息可以通过这个表征影响后续动作预测。[1第 III-C 节]这与“分别编码每一帧再把全部历史 token 交给动作模型”有明显区别后续主干接收到的输入规模得到控制历史处理的一部分工作被放到了视觉编码器里。论文后训练设置中的观察记忆可扩展到18 帧抽样观察覆盖作者报告的 54 秒历史窗口。[1第 III-D 节]这里需要区分两个概念18 帧是模型使用的抽样观察数量54 秒是这些观察覆盖的历史时间跨度它们并不表示相机的原始采集帧率。更早的任务进度则通过语言记忆继续维护。3. 发出指令不等于已经完成动作长期记忆如果只是把子任务指令不断追加到日志里很容易混淆“要求做什么”和“实际做到了哪里”。例如“拿碗、拿碗、拿碗”可能意味着反复尝试同一个步骤却不能证明碗已经被拿起。MEM 论文中的一个例子是在成功拿起碗之前不急着更新长期摘要尝试过程中的动作细节仍可以由短期历史提供。[1]作者测试了直接拼接既往子任务指令的朴素方案。在长任务实验中它弱于学习得到的摘要更新。这里存在一个实际问题示范中的操作通常较顺利而机器人执行时可能反复重试历史序列的分布也随之改变。只会处理顺利示范的历史记录方法未必适应失败后的执行过程。MEM 利用带子任务标注及成功、失败信息的机器人轨迹生成摘要监督再训练高层策略维护记忆。对实现者来说这个区别很关键如果系统只记住“控制指令已发送”就可能在动作尚未完成时推进任务状态。记忆更新需要与观察到的执行结果配合使用。三、失败以后如何调整理解上下文适应MEM 用抓筷子和开冰箱等任务检验近期历史是否能帮助机器人调整操作。[1]1. 桌面变低以后原来的抓法还适用吗抓筷子任务中训练数据的桌高位于可调范围的上半区评估时则把桌子调到最低位置。如果模型无法利用前一次失败留下的线索下一次面对相似观察就容易继续执行相似动作。近期历史让模型有机会把“刚才这一下没有奏效”纳入当前判断从而调整抓取方式。这个实验关心的并不是机器人能否说出“桌子变低了”而是变化与失败的信息能否影响下一次操作。2. 冰箱拉不开能不能换一侧尝试另一项实验使用开启方向不明确的冰箱。机器人朝一侧尝试失败后需要考虑另一侧。该任务把成功定义为四次抓握以内打开门限制了无限次随机试错的空间。这两组实验都有训练前提团队提前采集人类纠正或带尝试、随后纠正的轨迹再微调策略有无记忆的对照也使用相同干预数据。[1]测试时发生的是in-context adaptation上下文适应模型结合当前任务中的历史改变行为。它与现场更新模型参数、持续训练出新技能是不同的过程。看到机器人尝试失败后换了一种做法不能据此认定它在运行中完成了参数学习。失败后的历史需要被策略实际读取训练数据里也需要包含有助于调整操作的经验。仅仅增加一个缓存并不能保证模型自然学会纠错。四、IMPRINT视觉、动作与本体状态一起记MEM 用语言摘要与近期观察作分工。IMPRINT 则研究另一条路线把多路历史压进可学习的潜在记忆中。[2]1. 清理桌面为什么需要记住清理之前的画面IMPRINT 的一个实机任务要求挪开小桌上的物品清洁小桌且清洁动作恰好完成一次把物品直立放回去并恢复正确的左右排列。小桌被清空以后当前画面已经不包含原来的排列。要恢复任务要求的状态系统需要利用较早的观察要避免重复清洁还得判断操作进行到了哪里。如果只检查“桌子上最后有没有物品”就会漏掉这个任务最关键的要求物品的位置关系是否恢复清洁步骤是否按要求完成。2. 多路历史分别提供什么信息IMPRINT 纳入的历史包括视觉观察物品原先在哪里场景外观怎样变化动作记录此前向机器人发送了哪些动作本体状态关节、夹爪等机器人自身状态的变化。原始位置可以从视觉历史中恢复动作与本体状态也能为运动过程和任务进度提供线索。这些信息具有互补关系具体作用还取决于任务及训练方式。动作记录表示发出过什么动作不能独立证明动作执行成功。因此动作记录仍然需要与视觉和本体状态结合判断。IMPRINT 把多路历史压缩为潜在记忆并在推理时增量更新。它没有要求所有重要信息都先转写成自然语言。[2]3. 为什么要分两阶段训练IMPRINT 的训练安排可以概括为两个阶段。第一阶段学习保留历史。模型读取视觉、动作和本体状态历史学习记忆表示。训练目标包括重建历史信息以及估计当前任务进度。第二阶段让记忆服务动作。将记忆表示接入动作策略与策略联合适配动作预测使保留下来的信息能够参与实际控制。第一阶段给记忆表示明确的监督第二阶段再让它适应控制任务。这比只告诉动作模型“现在多了一段历史输入”多了一步学习如何保留信息的过程。4. MEM 与 IMPRINT 的区别在哪里IMPRINT 是独立研究并不是 MEM 的升级版本。两者的差异可以按设计比较但不能直接把不同论文里的分数拼成排行榜。比较项MEMIMPRINT记忆表示长期语言摘要与短期观察历史分工多路历史压缩成潜在记忆任务组织高层选择子任务并更新语言记忆记忆表示参与动作策略预测训练关注点学会摘要更新及近期观察的时间编码先监督历史重建与进度估计再联合适配策略可检查性可以检查语言摘要及任务选择仍需与实际执行核验主要通过任务结果和表示分析检查潜在记忆较难直接阅读这张表比较机制没有控制双方的模型、数据、任务与算力因此不用于判断哪一种方案普遍更强。五、实验结果怎么读成功率和任务进度要分开1. IMPRINT 的清桌成绩论文附录表 12 给出了各方法在 Dust Table 任务中的原始成功次数。[2]方法成功次数 / 总次数成功率无记忆 π06/2030%HAMLET5/2025%MemER8/2040%均匀抽样历史10/2050%IMPRINT16/2080%同一研究又为 IMPRINT 更换了未见过的物品物品条件IMPRINT 成功次数 / 总次数成功率原物品条件16/2080%未见物品条件9/2045%这些成绩对应具体的验收要求临时放下时物品直立恰好清洁一次最后直立放回小桌并恢复正确左右排列。每次执行前也都有工作人员复位场景并随机摆放。论文展示过一个很直观的失败示例均匀抽样策略把瓶子都放回了小桌却交换了左右位置。动作流程看起来已经结束任务仍然没有通过。[2附录 E.3]每项只有 20 次执行多成功或失败一次报告的成功率就会相差 5 个百分点。阅读结果时应当把成功率、执行次数和验收条件放在一起看。80% 是这组研究设置下观察到的结果不能直接外推成任意家庭里的稳定表现。更换物品后的 45%也说明泛化条件会明显影响结果。2. MEM 的任务进度不能换成完整成功率MEM 的菜谱实验从 42 种训练菜谱中选出 5 种换到未见厨房和物体条件下评估。每种策略在相应任务或菜谱上执行 10 次多数备料菜谱按 6—7 项用品计分。[1]如果拿对五件、漏下一件可以获得较高的任务进度但整项备料仍没有完成。论文长任务图中的Task Progress应当按这个含义理解。因此MEM 的任务进度和 IMPRINT 的整项成功率回答的是不同问题任务进度反映完成了多少整项成功率反映有多少次执行满足全部要求。比较论文时需要先对齐任务定义、成功条件、执行次数和人工参与方式再讨论分数。六、从两篇研究中能提炼出哪些实现思路以下是根据研究机制作出的工程分析不是原作者已经验证的通用实现方案。1. 先明确记忆要解决哪一种信息缺失如果问题是物体短暂被遮挡近期观察可能提供必要的位置线索如果问题是十几分钟前已经完成哪些步骤就需要能够保留更长时间跨度的信息。还有一种情况是系统保存了历史却没有把历史与当前决策有效连接起来。这时继续扩大缓存未必能解决问题。可以先问一句机器人这一步做错究竟缺少哪条信息先确定决策缺少什么再选择表示形式比直接扩大历史窗口更容易定位问题。2. 区分动作请求与执行结果发送抓取命令、夹爪闭合、物体真正被拿稳是不同事件。任务记忆何时推进应当有观察或执行状态支持。例如一个上层任务管理器可以分别记录准备抓取 → 正在尝试 → 确认拿稳 → 搬运完成这是便于理解的状态划分示例并非 MEM 或 IMPRINT 的官方实现。这种设计能否改善效果仍要在自己的任务中验证。它不能替代底层感知与动作反馈但可以帮助开发者检查系统是否把“尝试过”误当成了“已经完成”。3. 记忆模块也需要训练而不只是接线MEM 比较过从预训练阶段引入观察记忆与仅在后训练阶段加入视频编码器的情况。后者同样从预训练 π0.6 检查点开始却较难有效利用历史信息。[1消融实验]IMPRINT 则通过历史重建和任务进度监督先训练记忆表示。两项研究都提示基础模型已经见过大量机器人数据不代表后来接入的记忆结构就能自动发挥作用。对于自己的系统除了检查接口有没有接通还需要检查训练目标是否真的要求模型使用历史以及训练数据是否覆盖了必须依赖历史才能区分的情况。4. 把计算延迟纳入评估MEM 的效率实验在单张 H100、四路相机输入条件下测量并给出 300 毫秒的参考实时阈值。[1]这是一组明确条件下的测量自己的部署环境仍需单独评估。除了记忆跨度可以同时记录策略刷新延迟、整项任务耗时、重复操作次数和人工接管情况。一个能读取更长历史、却显著拖慢动作更新的系统未必有更好的实际表现。只有历史处理及时完成记忆才有机会参与当前这一步动作。七、记忆的价值要在下一步动作里验证MEM 与 IMPRINT 展示了两种可研究的做法前者按时间尺度和功能分工后者从多路历史里学习紧凑表示。它们都把“过去发生过什么”接入了机器人决策。目前的证据主要来自给定任务内的记忆评估。多日环境变化、长期使用偏好以及旧信息何时应该失效需要额外设计测试。MEM 也把超出单次执行、持续数周数月的记忆列为未来方向。[1]这意味着任务内记忆与长期家庭使用仍有距离。机器人记得这一次清桌前的物品排列并不能证明它已经能够长期维护整个家庭的环境知识。回到最初的备料工具滑开以后近期历史帮助调整抓取等工具放好任务记录也应当继续推进。锅和材料都已经齐了这项工作就该结束。机器人究竟记住了多少最终要看这些信息有没有改变接下来该做的动作。参考论文[1] Marcel Torne, Karl Pertsch, Homer Walke, et al. MEM: Multi-Scale Embodied Memory for Vision Language Action Models. arXiv:2603.03596v2, 2026.论文原文 作者项目说明[2] Yilin Wu, Rutav Shah, Shuaiyi Huang, et al. Memory Without Curation: Learning Multi-Stream Latent Memory for Robot Policies. arXiv:2610.14406v1, 2026.论文原文与附录本文为论文解读未进行机器人实机复现。