关键时刻主动唤醒：面向长时序智能体的主动记忆智能体
关键时刻主动唤醒面向长时序智能体的主动记忆智能体论文原始链接https://arxiv.org/html/2607.08716v1开源代码仓库https://github.com/yifannnwu/proactive-memory-agent摘要长时序工具交互任务中决策相关信息会随交互轨迹不断累积极易被上下文窗口淹没导致智能体遗忘前置约束、重复失败操作本文将该现象定义行为状态衰减。现有记忆系统仅聚焦信息存储与被动检索缺少主动干预决策的能力。本文提出主动记忆智能体Proactive Memory Agent与原有执行智能体解耦并行运行分为双阶段工作流1定期基于最新交互轨迹更新结构化记忆库2判断是否向执行智能体注入精简记忆提示或保持静默不干扰决策。该模块即插即用无需改动现有主流执行智能体与调度框架。在Terminal-Bench 2.0、τ 2 \tau^2τ2-Bench两大长时序基准开展完整实验搭配Claude Opus 4.6记忆模块后弱模型Claude Sonnet 4.5任务通过率分别提升8.3、6.8个百分点强模型Claude Opus 4.6同样稳定获得2.4、2.5个百分点增益。消融实验验证选择性主动干预效果全面优于全局记忆暴露、固定强制注入、纯顾问引导、通用向量检索等基线方案。为轻量化开源记忆策略落地本文基于SETA数据集对Qwen3.5-27B开展监督微调SFT 梯度强化策略优化GRPO训练在验证集提升奖励并可泛化迁移至Terminal-Bench unseen任务。三大核心贡献定义长时序LLM智能体核心失效模式行为状态衰减指出传统仅存储检索类记忆机制无法解决该问题提出双阶段主动记忆干预架构解耦记忆维护与动作决策大量实验证明选择性记忆注入显著提升长时序任务成功率验证记忆干预策略可通过大模型微调习得给出开源基座训练方案为轻量化本地记忆模块提供可行路径。1 引言1.1 长时序智能体普遍失效问题当前LLM智能体广泛用于命令行自动化、机器学习工程流水线、多轮领域工具交互等长时序场景。这类任务需要数十轮工具调用成功与否不仅依赖单步局部推理更取决于全程约束、前置错误诊断、未完成子目标等信息持续作用于后续决策。实践中观测典型失效案例早期明确任务约束调试后期完全违背该条件多次验证某命令/参数配置失效后续仍重复同类操作已定位错误根源再次遇到同类问题当作全新故障处理。即便相关文本仍存在上下文窗口信息也不再约束智能体行为本文将该现象命名行为状态衰减Behavioral State Decay。现有记忆方案仅解决“信息能否存取”忽略“何时主动唤醒信息影响下一步动作”这一核心控制问题。1.2 现有记忆方案局限性MemGPT、MemoryBank、Mem0等主流记忆架构侧重长期存储、向量检索、用户个性化记录适用于跨会话记忆留存但无法适配单任务持续执行场景过量记忆注入每轮都加载全部历史信息token开销巨大分散智能体局部推理注意力无干预决策机制无法判断当前是否需要唤醒历史关键约束缺少“静默不干扰”的选择分支总结长时序智能体记忆不只是读写检索问题更是主动干预控制问题。该问题区别于文本摘要——摘要仅决定保留内容本文记忆智能体需要动态判断是否介入下一轮决策。1.3 本文方案核心思路独立记忆智能体与执行智能体并行运行不改动原有推理、工具调用逻辑固定周期读取近期交互轨迹更新三层结构化记忆库二分类决策输出精简记忆提示注入上下文或无干预静默执行提示仅包含任务约束、环境事实、失败尝试、错误诊断等决策关键内容禁止宽泛策略指导在两大异构长时序基准验证有效性并完成开源大模型记忆策略微调实验。2 相关工作2.1 长时序LLM智能体基础范式ReAct、Reflexion、Voyager等构建推理-工具交互循环Terminal-Bench、τ 2 \tau^2τ2-Bench、MLEBench面向真实长时序任务。现有研究聚焦单步推理能力缺少对轨迹全程状态留存机制的研究本文针对行为衰减失效展开专项记忆设计。2.2 智能体外置记忆体系检索增强类RAG、Realm依靠向量库检索历史知识LongMem扩展上下文存储持续记忆框架MemGPT、MemoryBank、Mem0存储对话、经验片段主打跨会话持久化终身智能体Voyager存储可复用技能。上述工作以存储检索为核心不具备动态干预决策的控制逻辑与本文主动记忆干预形成互补。2.3 上下文管理与可学习记忆策略MemAct将记忆编辑建模为动作优化Context-Folding、Mem-α通过RL压缩上下文、管理子轨迹。这类方案让执行器自身维护上下文本文采用分离式记忆智能体独立观测轨迹、主动判断是否干预形成异构调度架构信用分配机制完全不同。2.4 反思、辅助顾问类智能体Self-Refine、Reflexion依靠自我反思修正输出Advisor系列采用第二模型全局策略指导。本文记忆智能体输出严格限定历史事实类提示不提供宏观解题思路仅唤醒被遗忘约束干预粒度更精细。2.5 本文差异化定位现有工作解决“记住什么、怎么压缩”本文核心创新何时将历史记忆注入决策回路。任务环境动态多变不存在固定摘要模板必须自适应选择干预/静默平衡性能与token开销。3 方法双阶段主动记忆干预架构3.1 问题建模智能体交互轨迹τ ( o 1 , a 1 , o 2 , a 2 , . . . , o T ) \tau(o_1,a_1,o_2,a_2,...,o_T)τ(o1,a1,o2,a2,...,oT)o t o_tot环境观测a t a_tat执行动作。执行策略π A ( a t ∣ x , τ t ) \pi_A(a_t \mid x,\tau_{t})πA(at∣x,τt)x xx为原始任务描述。长时序场景下大量执行状态信息任务要求、环境属性、失败尝试、未解决子目标会随轨迹变长失效即便文本未被截断也无法约束后续动作。新增独立记忆策略π M \pi_MπM固定轮次触发读取任务描述、滑动窗口近期轨迹w t w_twt、上一轮记忆库B t − 1 B_{t-1}Bt−1执行两步操作1 更新记忆库2 输出干预i t i_tit空/精简提示文本。若i t i_tit非空则作为临时上下文注入下一轮执行智能体无干预则不新增记忆文本。3.2 三层结构化记忆库记忆库B t ( s t , K t , P t ) B_t(s_t,K_t,P_t)Bt(st,Kt,Pt)三类存储严格分离状态字段s t s_tst私有仅记忆智能体可见记录当前任务进度、未解决风险、开放子目标不暴露给执行器避免上下文冗余知识记忆K t K_tKt稳定静态信息任务硬性约束、文件路径、环境配置、工具验证事实过程记忆P t P_tPt动态交互经验失败命令、有效修复方案、错误模式、假设验证结果。每条记忆包含唯一ID、文本内容、创建时间、访问频次元数据支持新增、修改、删除操作便于长期轨迹迭代维护。3.3 记忆智能体双阶段完整流程阶段1记忆库维护工具调用更新输入任务描述、近期滑动窗口轨迹、当前记忆库支持4类标准化记忆操作工具仅输出工具调用序列不直接生成文本memory_update_status更新私有任务进度状态memory_save_knowledge写入静态环境/任务约束memory_save_procedural存储失败、修复等交互经验memory_delete删除过时、错误记忆条目。系统按顺序执行全部工具调用生成更新后的记忆库无调用则维持原有存储不变。优势记忆修改操作标准化长轨迹下结构稳定区分约束与过程类经验。阶段2主动干预决策无工具调用读取更新完成的完整记忆库二选一输出context_for_action针对性精简提示仅唤醒即将被忽略的约束/错误诊断no_intervention/静默不向执行器注入任何记忆文本。约束规则禁止宽泛解题策略、不重复当前观测内已存在信息仅输出能改变下一步决策的关键历史内容。干预/静默均为显式决策平衡收益与token开销。3.4 触发机制默认规则第1交互步必运行记忆智能体后续每N步固定触发也可配置条件触发工具报错、重复命令、上下文突变等本文实验采用固定间隔消除触发策略对消融结果的干扰。3.5 可学习记忆干预策略轻量化开源方案基础部署直接通过提示词约束记忆智能体双阶段行为无需训练进阶开源方案基座模型微调仅训练记忆智能体执行器冻结监督微调SFT以提示词专家轨迹为监督信号学习标准化记忆工具调用、干预/静默二分类梯度强化策略优化GRPO以任务全局通过率为奖励优化干预时机减少无意义注入、精准唤醒失效约束实验验证Qwen3.5-27B经SFTGRPO后在未见过的Terminal任务上具备泛化增益。4 实验设置与结果4.1 评测基准介绍Terminal-Bench 2.0真实Docker终端容器自动化任务包含代码编辑、调试、文件校验共89道任务实验剔除4道容器故障样本剩余85道指标pass1最终校验通过占比τ 2 \tau^2τ2-Bench多轮对话式工具交互基准航空、零售、电信三大领域合计278条对话任务模拟用户交互、动态环境规则。两大基准分别覆盖纯自主命令行、人机协同工具两类长时序场景可全面验证记忆模块通用性。实验模型配置执行智能体Claude Sonnet 4.5弱基线、Claude Opus 4.6强基线记忆智能体默认Claude Opus 4.6滑动窗口k8每轮交互触发记忆模块注入提示作为独立临时上下文执行器代码、提示词完全不改动。4.2 主实验完整结果表1基准领域执行模型样本数基线通过率加入记忆模块提升百分点Terminal-Bench 2.0全任务Sonnet 4.58537.6%45.9%8.3Terminal-Bench 2.0全任务Opus 4.68543.5%45.9%2.4τ 2 \tau^2τ2-Bench航空Sonnet 4.55068.0%78.0%10.0τ 2 \tau^2τ2-Bench零售Sonnet 4.511449.1%58.8%9.6τ 2 \tau^2τ2-Bench电信Sonnet 4.511455.3%57.9%2.6τ 2 \tau^2τ2-Bench加权平均Sonnet 4.527855.0%61.8%6.8τ 2 \tau^2τ2-Bench航空Opus 4.65076.0%76.00.0τ 2 \tau^2τ2-Bench零售Opus 4.611464.9%69.3%4.4τ 2 \tau^2τ2-Bench电信Opus 4.611463.2%64.9%1.8τ 2 \tau^2τ2-Bench加权平均Opus 4.627866.2%68.7%2.5核心结论无论强弱基座主动记忆模块均稳定提升通过率弱模型增益幅度更大不同领域任务收益差异明显航空、零售等强规则场景提升最显著强模型本身状态留存能力更强但长复杂轨迹下仍存在行为衰减记忆模块具备补充价值。4.3 消融实验τ 2 \tau^2τ2-BenchSonnet 4.5执行器实验变体记忆库维护干预策略航空零售电信领域均值任务加权均值原始基线无无68.049.155.357.555.0本文完整架构开启选择性干预/静默78.057.057.964.361.2全记忆库每轮暴露开启强制全部记忆注入74.052.657.961.558.6强制每轮注入提示开启无静默分支72.058.859.663.561.5无持久记忆库仅顾问引导关闭选择性引导62.054.466.761.060.8Mem0标准检索记忆存储检索向量Top10注入68.059.658.862.160.8消融分析仅全局暴露全部记忆信息过载性能下滑证明选择性干预不可或缺强制每轮注入部分场景接近完整架构但跨领域均衡性变差无持久记忆的纯顾问缺少历史固化经验部分领域性能低于基线通用向量检索记忆Mem仅被动召回无决策判断增益弱于本文主动干预完整双阶段架构兼顾长期经验存储与自适应静默决策跨任务鲁棒性最优。4.4 定性案例分析Terminal-Bench典型场景调试循环中记忆主动唤醒正则边界、单字节IPv4约束避免重复编写无效正则记录文件编辑失败方案不再反复尝试同类错误命令。τ 2 \tau^2τ2-Bench典型场景航空用户自称金卡但工具查询为普通会员记忆提前注入身份约束避免错误赔付零售主动提醒低价经济舱不可修改政策拦截违规操作。核心作用在执行器即将忽略关键前置约束的瞬间唤醒对应信息阻断重复错误。4.5 开源模型训练实验训练数据集SETA终端任务集训练对象Qwen3.5-27B记忆智能体执行器固定Qwen3.5-122B-A10BSFT监督微调复刻专家记忆操作轨迹基础奖励小幅提升GRPO强化优化针对干预决策优化奖励进一步上涨训练迁移结果配置SETA平均奖励Terminal-Bench通过率无记忆模块0.70937.6%未微调原始Qwen记忆模块0.693-SFT微调记忆模块0.720-SFTGRPO记忆模块0.73441.1%结论仅原始大模型直接作为记忆模块效果反而下降经过SFT强化学习校准后可泛化至未见过的终端任务具备轻量化本地部署潜力。5 讨论与局限5.1 核心优势总结独立解耦架构即插即用无需修改现有执行智能体推理、工具调用逻辑三层结构化记忆区分静态约束与动态经验长时序轨迹下可稳定维护完整执行状态引入静默干预分支解决过量记忆注入带来的token冗余与注意力分散问题支持提示词零训练部署也可通过SFTGRPO训练开源基座适配离线本地场景。5.2 现存局限性记忆触发采用固定间隔策略未实现事件自适应触发报错、循环时自动高频运行干预提示生成仅采用固定模板策略未针对不同任务类型定制抽象化记忆摘要训练实验仅单开源基座验证多系列大模型泛化性有待进一步测试未探索记忆智能体与执行器联合协同训练方案。6 结论本文针对长时序LLM智能体行为状态衰减问题提出独立双阶段主动记忆智能体。该模块定期维护三层结构化记忆库并自适应选择是否向执行器注入关键历史提示平衡信息留存与上下文开销。在终端自动化、多轮对话两大异构长时序基准验证强弱模型均获得稳定性能提升消融实验证明持久记忆库选择性静默干预是最优组合。同时给出开源大模型记忆策略微调流水线SETA训练后的Qwen3.5-27B可迁移提升 unseen任务成功率。未来将研究事件驱动记忆触发、多模型联合训练、任务自适应记忆摘要等拓展方向。资源链接汇总论文网页原文https://arxiv.org/html/2607.08716v1开源完整代码仓库https://github.com/yifannnwu/proactive-memory-agent实验复现脚本、数据集读取代码、模型微调脚本仓库根目录scripts文件夹基准环境部署文档仓库docs目录Terminal-Bench、τ 2 \tau^2τ2-Bench环境搭建步骤
