文章目录前言零、论文基本信息一、这篇论文想解决什么问题1. 记忆管理问题2. 记忆利用问题二、一个直观例子为什么启发式记忆容易出错三、相关工作1. 记忆增强的 LLM Agent2. 大模型与强化学习四、Memory-R1 方法总览五、Memory Manager学习如何管理记忆1. 任务定义2. PPO 微调3. GRPO 微调4. 奖励设计六、Answer Agent学习如何使用记忆1. 为什么需要 Memory Distillation2. 任务定义3. PPO / GRPO 微调4. 奖励设计七、Memory-R1 和普通 RAG 记忆有什么区别八、实验设置1. 数据集2. 模型3. 评测指标4. Baseline 方法九、主要实验结果1. LLaMA-3.1-8B 上的结果2. Qwen-2.5-7B 上的结果3. GRPO 通常优于 PPO十、泛化性和扩展性1. 不同模型规模2. 不同数据集泛化十一、消融实验1. Memory Manager 的作用2. Answer Agent 的作用3. Memory Distillation 的作用4. 更强的 Memory Manager 能放大 Answer Agent 收益十二、PPO、GRPO 和奖励设计分析1. PPO 与 GRPO2. 奖励设计为什么不用 LLM-as-a-Judge 作为奖励3. Learned Memory Distillation vs Reranker十三、一个简单例子Memory-R1 在 Agent 中可能怎么用十四、和 A-Mem、MemAct 的区别十五、局限性1. 主要评估的是对话类数据集2. Memory Manager 和 Answer Agent 是分开训练的3. 奖励归因仍然困难4. EM 奖励可能限制回答风格十六、我的理解和启发十七、总结参考资料前言当前大模型的一个重要特点是“无状态性”模型本身不会天然保留长期交互中的历史信息再加上上下文窗口有限长程对话和跨会话推理就很容易出问题。一个常见解决思路是给大模型增加外部记忆库比如把历史对话、用户偏好、事实信息存储下来再通过检索方式放回上下文中。这样做确实能缓解上下文窗口限制但现有很多记忆系统仍然偏静态、偏启发式系统通常依靠规则或提示词决定要存什么、更新什么、删除什么以及回答问题时使用哪些记忆。这篇论文提出了Memory-R1核心思想是不要只把记忆当作外部存储模块而是让 Agent 通过强化学习学会管理和利用记忆。具体来说Memory-R1 包含两个 AgentMemory Manager负责学习记忆管理操作例如 ADD、UPDATE、DELETE、NOOP。Answer Agent负责从检索到的记忆中筛选有用内容并基于相关记忆进行推理回答。这两个 Agent 分别对应记忆系统中的两个关键问题记忆如何维护什么信息应该新增什么旧记忆应该更新什么无用记忆应该删除记忆如何使用检索到一堆记忆后哪些真正和当前问题相关回答时应该依赖哪些记忆论文通过 PPO 和 GRPO 对这两个 Agent 进行强化学习微调让模型通过最终回答效果来反向学习更好的记忆管理和记忆利用策略。零、论文基本信息论文名称Memory-R1: Enhancing Large Language Model Agents to Manage and Utilize Memories via Reinforcement Learning发表平台ACL 2026 Long Papers作者信息Sikuan YanLudwig Maximilian University of Munich / Munich Center for Machine LearningXiufeng YangTechnical University of MunichZuchao HuangLudwig Maximilian University of MunichErcong NieLudwig Maximilian University of Munich / Munich Center for Machine LearningZifeng DingMunich Center for Machine Learning / University of CambridgeZonggen LiUniversity of Hong KongXiaowen MaLudwig Maximilian University of MunichJinhe BiLudwig Maximilian University of MunichKristian KerstingTechnical University of DarmstadtJeff Z. PanUniversity of EdinburghHinrich SchuetzeLudwig Maximilian University of Munich / Munich Center for Machine LearningVolker TrespLudwig Maximilian University of Munich / Munich Center for Machine LearningYunpu MaLudwig Maximilian University of Munich / Munich Center for Machine Learning一、这篇论文想解决什么问题这篇论文想解决的是 Agent 记忆系统中的两个问题Agent 不仅要“有记忆”还要学会“如何管理记忆”和“如何使用记忆”。很多记忆增强 Agent 的基本流程是把历史对话或用户信息存入记忆库用户提问时从记忆库里检索相关内容把检索结果拼到 prompt 中让大模型基于这些内容回答。这个流程看起来很自然但会遇到两个问题。1. 记忆管理问题记忆不是越多越好。随着交互轮次增加记忆库中会出现重复信息过时信息互相补充但容易被误判为矛盾的信息对当前任务没有帮助的信息。因此系统需要判断新信息应该新增为一条记忆吗它是在补充旧记忆还是和旧记忆冲突旧记忆应该更新还是删除当前信息是否不值得保存也就是说记忆管理本身就是一个决策问题。2. 记忆利用问题即使记忆库维护得不错回答问题时也不一定能用好记忆。比如一次检索可能返回 60 条候选记忆但真正和问题相关的可能只有 1 条或几条。如果全部塞给模型模型反而可能被无关记忆干扰。所以Answer Agent 要做的事情不只是“读记忆”而是要先进行Memory Distillation也就是从检索到的记忆中筛掉噪声保留真正有用的内容再进行推理回答。简单来说Memory-R1 关注的是让 Agent 通过强化学习学会什么记忆值得保留以及什么记忆值得使用。二、一个直观例子为什么启发式记忆容易出错论文 Figure 1 给了一个非常直观的例子。用户先说我最近收养了一只小狗名字叫 Buddy。过了一段时间在新的会话里用户又说我又忍不住收养了另一只小狗名字叫 Scout。对于人类来说这两句话很容易理解用户一共收养了两只狗分别叫 Buddy 和 Scout。但一个普通的启发式 Memory Manager 可能会误判它可能认为“收养 Buddy”和“收养 Scout”是互相冲突的信息于是执行 DELETE ADD把旧记忆删掉再写入新记忆。这样就会造成记忆碎片化甚至事实丢失。而 RL 微调后的 Memory Manager 更合理的操作是 UPDATEAndrew adopted 2 dogs named Buddy and Scout.也就是说它不是把新信息看成冲突而是把它看成对旧记忆的补充。图源Yan et al., 2026Figure 1。这张图其实很好地说明了 Memory-R1 的价值记忆管理不只是简单的字符串匹配而需要理解新旧信息之间的关系。强化学习的作用就是让模型通过最终任务效果学习哪些记忆操作更有利于后续回答。三、相关工作论文的相关工作主要可以分为两部分。1. 记忆增强的 LLM Agent由于固定长度上下文窗口限制了 Agent 维护长期信息的能力研究人员提出了很多外部记忆方法例如LoCoMo关注多会话长期对话中的记忆和推理能力。ReadAgent通过 gist-based memory 处理长上下文阅读。MemoryBank面向 lifelong agent memory 的组合式记忆控制器。MemGPT使用 working memory 和 long-term memory 的双层缓冲机制。这些方法都说明外部记忆对长程任务非常重要。但论文认为很多现有方法仍然依赖静态记忆设计或启发式规则。比如系统通过提示词让模型选择 ADD、UPDATE、DELETE但没有一个明确的学习信号告诉模型这个操作到底有没有帮助最终回答。Memory-R1 的区别在于它将记忆操作本身纳入强化学习训练让模型通过下游 QA 的结果学习记忆管理策略。2. 大模型与强化学习强化学习早期在大模型中的代表应用是 RLHF用于让模型输出更符合人类偏好。后来强化学习开始被用于更结构化的 Agent 决策任务。例如Toolformer / ReAct 类型工作让模型学习何时调用工具Search-R1让模型学习何时发起搜索查询Trial and Error让 Agent 选择更好的推理路径。这些工作说明强化学习可以帮助大模型学习复杂行为序列。但在记忆管理和记忆利用层面强化学习探索仍然较少。Memory-R1 的贡献就是把“记忆操作选择”和“记忆利用”也建模为强化学习问题。四、Memory-R1 方法总览Memory-R1 的整体框架包含两个阶段Stage 1Memory Construction使用 Memory Manager 构建和更新记忆库。Stage 2Memory-Guided Answer Generation使用 Answer Agent 检索、筛选并利用记忆回答问题。图源Yan et al., 2026Figure 2。可以把这个流程理解为对话过程中Memory Manager 不断维护记忆库提问时系统先从记忆库中召回候选记忆Answer Agent 再从候选记忆中筛选相关内容最后基于筛选后的记忆生成答案。这篇论文的核心不是提出一个新的存储结构而是提出一种RL 微调方式让模型学会更好地执行记忆操作和记忆筛选。五、Memory Manager学习如何管理记忆Memory Manager 负责维护记忆库。对于每一段新抽取的信息它需要从四种操作中选择一种ADD新增一条记忆。UPDATE更新已有记忆。DELETE删除旧记忆。NOOP不做任何操作。这四个操作看起来很简单但实际选择并不容易。举个例子旧记忆 用户养了一只狗名字叫 Buddy。 新信息 用户又收养了一只狗名字叫 Scout。如果模型把这两条信息误判为冲突就可能执行DELETE删除“用户养了一只狗 Buddy” ADD用户养了一只狗 Scout这样系统最后只记得 Scout忘掉了 Buddy。更合理的操作应该是UPDATE 用户养了两只狗分别叫 Buddy 和 Scout。这就是 Memory Manager 要学习的能力判断新信息和旧记忆之间到底是补充、冲突、重复还是无关。1. 任务定义Memory Manager 的输入包括当前新信息x当前已有记忆库M_old。输出包括记忆操作o更新后的记忆内容m。可以形式化为(o, m) ~ πθ(· | x, M_old)也就是说Memory Manager 是一个策略模型它根据当前信息和旧记忆决定要执行什么操作。2. PPO 微调在 PPO 训练中Memory Manager 会采样一个操作和更新内容然后把更新后的记忆库传给冻结的 Answer Agent。如果 Answer Agent 最终回答正确就给 Memory Manager 正奖励如果回答错误则不给奖励或给较低奖励。这里的关键是Memory Manager 的好坏不是由人工标注的操作是否一致决定的而是由它对最终 QA 是否有帮助决定的。这种设计减少了人工标注成本因为不需要人为给每一步记忆操作贴标签。3. GRPO 微调GRPO 和 PPO 的区别在于它会对同一个状态采样一组候选动作然后通过组内比较计算相对优势。简单来说GRPO 不需要显式 value function而是比较同一问题下不同候选操作的好坏。可以理解为如果同一个新信息下UPDATE 后能答对而 DELETE 后答错那么 UPDATE 就会获得更高的相对优势。这和记忆管理任务比较契合因为很多时候并不存在唯一标准操作关键是看这个操作是否让最终回答更好。4. 奖励设计Memory Manager 使用的是结果驱动奖励R_answer EM(y_pred, y_gold)也就是把最终回答和标准答案做 Exact Match。如果回答正确说明当前记忆操作对下游 QA 有帮助。这种奖励设计的优点是简单、可扩展不需要人工标注每个 ADD、UPDATE、DELETE 是否正确。不过它也有一个问题奖励比较稀疏。最终答错了不一定能准确知道到底是哪一步记忆操作出了问题。这也是后面局限性中需要注意的地方。六、Answer Agent学习如何使用记忆Memory Manager 解决的是“记忆库怎么维护”的问题而 Answer Agent 解决的是“记忆怎么用”的问题。论文中Answer Agent 会先通过相似度检索拿到 60 条候选记忆然后执行 Memory Distillation从中筛选出最相关的内容再生成最终答案。也就是说Answer Agent 并不是直接把 60 条记忆全部用于回答而是先进行一次“记忆蒸馏”。1. 为什么需要 Memory Distillation检索出来的记忆通常会有噪声。比如用户问Andrew 一共收养了几只狗系统可能检索到很多和 Andrew 有关的记忆Andrew 最近搬家Andrew 喜欢狗Andrew 收养了 BuddyAndrew 收养了 ScoutAndrew 参加过动物保护活动Andrew 和朋友聊过宠物食品。其中真正用于回答的可能只有Andrew adopted 2 dogs named Buddy and Scout.如果把所有记忆都塞给模型模型可能被无关信息干扰。Memory Distillation 的目标就是让 Answer Agent 学会从候选记忆中筛出真正相关的信息。2. 任务定义Answer Agent 的输入是当前问题q检索到的候选记忆集合M_ret。输出是答案yy ~ πθ(· | q, M_ret)这里的关键不只是生成答案还包括在生成答案前有效筛选和利用记忆。3. PPO / GRPO 微调Answer Agent 也使用 PPO 或 GRPO 进行微调。在训练时模型基于问题和候选记忆生成答案。然后系统用生成答案和标准答案之间的 Exact Match 作为奖励。如果答案正确说明 Answer Agent 成功从候选记忆中选出了有用内容并进行了正确推理如果答案错误则说明记忆选择或推理过程可能存在问题。4. 奖励设计Answer Agent 的奖励同样是 Exact MatchR_answer EM(y_pred, y_gold)论文也尝试过用 LLM-as-a-Judge 得分作为奖励但发现这种奖励会鼓励模型生成更长、更解释型的答案导致 F1 和 BLEU-1 降低。因此最终采用 EM 奖励以便在各项指标之间取得更平衡的效果。七、Memory-R1 和普通 RAG 记忆有什么区别我觉得这篇论文一个重要的地方在于它不是简单地说“给 Agent 加一个记忆库”而是进一步区分了两个问题问题普通 RAG 记忆系统Memory-R1记忆维护依赖规则、提示词或启发式操作用 RL 学习 ADD / UPDATE / DELETE / NOOP记忆召回按相似度检索后直接拼接先检索再由 Answer Agent 做 Memory Distillation优化目标通常没有和最终 QA 结果直接绑定使用最终回答正确性作为奖励训练方式多数是静态流程或 SFTPPO / GRPO 结果驱动训练核心能力让模型“有记忆”让模型学会“管理和利用记忆”简单来说普通 RAG 更像是“把资料找出来给模型看”而 Memory-R1 更像是“训练一个会整理笔记、会挑重点的模型”。八、实验设置1. 数据集论文主要使用三个 benchmarkLoCoMoMSCLongMemEval其中 LoCoMo 是主要训练和测试数据集。它包含长多会话对话每个对话大约有 600 轮、26k tokens问题类型包括single-hopmulti-hopopen-domaintemporal reasoning。论文按照已有工作设置去除了 adversarial subset并使用 1:1:8 的 train / validation / test 划分训练集152 个问题 验证集81 个问题 测试集1307 个问题一个值得注意的点是Memory-R1 只在 LoCoMo 上训练然后在 MSC 和 LongMemEval 上进行 zero-shot 测试用来检验泛化能力。2. 模型论文使用的主干模型包括LLaMA-3.1-8B-InstructQwen-2.5-Instruct 系列Qwen-2.5-3BQwen-2.5-7BQwen-2.5-14B这样可以测试 Memory-R1 在不同模型家族和不同模型规模上的效果。3. 评测指标论文使用三个主要指标F1token-level F1衡量生成答案和参考答案之间的词汇重叠。BLEU-1B1衡量 unigram 级别的词汇重叠。LLM-as-a-JudgeJ用额外大模型评估语义正确性、相关性、完整性和上下文合适性。这里需要注意F1 和 BLEU-1 更偏字符串匹配LLM-as-a-Judge 更偏语义判断。因此一个回答可能语义正确但因为太长或表达方式不同在 F1 / BLEU-1 上不一定高。4. Baseline 方法论文对比了以下方法LoCoMo (RAG)RAG 风格的长对话问答基线。A-Mem动态 Agent 记忆机制。Mem0显式记忆操作系统。MemoryOS系统级记忆管理框架。Memory-SFT使用相同架构和训练数据但用监督微调替代强化学习。Memory-SFT 是一个重要对照组因为它可以用来判断Memory-R1 的提升到底来自框架本身还是来自 RL 训练。九、主要实验结果论文的主实验结果可以先看 Table 1。这个表展示了 Memory-R1 和多种 baseline 在 LoCoMo 上的表现覆盖 LLaMA-3.1-8B-Instruct 和 Qwen-2.5-7B-Instruct 两种主干模型以及不同问题类型。表源Yan et al., 2026Table 1。1. LLaMA-3.1-8B 上的结果在 LLaMA-3.1-8B-Instruct 上Memory-R1-GRPO 取得了最强的整体结果Memory-R1-GRPO F1 45.02 BLEU-1 37.51 LLM-as-a-Judge 62.74相比最强 baseline MemoryOS论文报告 Memory-R1-GRPO 在整体指标上分别带来F1 相对提升 28.5%BLEU-1 相对提升 34.0%LLM-as-a-Judge 相对提升 30.2%。这说明 Memory-R1 不只是提升了某一种指标而是在词汇匹配和语义评估上都有提升。2. Qwen-2.5-7B 上的结果在 Qwen-2.5-7B-Instruct 上Memory-R1-GRPO 同样取得了最强的综合表现Memory-R1-GRPO F1 43.14 BLEU-1 36.44 LLM-as-a-Judge 61.51相比 MemoryOS论文报告其在整体指标上分别提升F124.5%BLEU-124.1%LLM-as-a-Judge20.0%这说明 Memory-R1 的效果并不依赖单一模型家族在 LLaMA 和 Qwen 上都能带来提升。3. GRPO 通常优于 PPO从主结果看GRPO 通常比 PPO 更强尤其是在整体 F1、BLEU-1 和 LLM-as-a-Judge 上表现更稳定。我的理解是GRPO 的组内相对比较更适合这种“答案正确性驱动”的训练场景。对于同一个问题模型会生成多个候选操作或答案然后通过相对奖励判断哪种行为更好这比单条轨迹的反馈更容易提供有效训练信号。十、泛化性和扩展性论文还分析了 Memory-R1 在不同模型规模和不同数据集上的表现。1. 不同模型规模下图展示了 Memory-R1 在 Qwen-2.5-3B、7B、14B 上的扩展性。图源Yan et al., 2026Figure 3。从图中可以看出无论是 3B、7B 还是 14BPPO 和 GRPO 微调后的模型都相对 base model 有提升。这说明 Memory-R1 学到的不是某个特定模型上的技巧而是一种可以迁移到不同模型规模上的记忆管理和记忆利用能力。2. 不同数据集泛化论文进一步在 MSC 和 LongMemEval 上进行测试。需要注意的是Memory-R1 只在 LoCoMo 上训练并没有在 MSC 和 LongMemEval 上继续微调。图源Yan et al., 2026Figure 4。从结果来看Memory-R1 在三个数据集上都能保持提升。这说明它学习到的并不是 LoCoMo 特定的数据模式而是更通用的记忆管理和记忆利用策略。这点对实际 Agent 系统比较重要。因为真实场景中的用户对话和任务分布往往会变化如果记忆机制只能在一个数据集上有效实用价值就会比较有限。十一、消融实验论文的消融实验主要验证 Memory-R1 中每个组件是否真的有用。图源Yan et al., 2026Figure 5。1. Memory Manager 的作用论文比较了完整 Memory-R1 和去掉 Memory Manager RL 微调后的版本。结果显示去掉 RL 微调后的 Memory Manager 后性能会明显下降。比如在 LLaMA-3.1-8B 上PPO 完整版本F1 / B1 / J 41.0 / 32.9 / 57.5去掉 Memory Manager RL 后F1 / B1 / J 34.5 / 28.1 / 49.0这说明记忆管理操作不是一个可以随便交给规则或提示词解决的问题。通过结果驱动的 RL 训练Memory Manager 确实能学到更有效的 ADD / UPDATE / DELETE / NOOP 策略。2. Answer Agent 的作用论文也验证了 Answer Agent 的作用。如果没有 RL 微调后的 Answer Agent模型虽然仍然可以检索记忆但回答质量会下降。完整 pipeline 中GRPO 版本可以达到F1 45.0 BLEU-1 37.5 LLM-as-a-Judge 62.7这说明回答阶段不能只是“把检索结果交给 LLM”还需要让模型学习如何筛选和利用相关记忆。3. Memory Distillation 的作用论文还对比了启用和不启用 Memory Distillation 的情况。结果显示Memory Distillation 可以减少无关记忆带来的噪声从而提高推理效果。特别是在 GRPO 下启用 distillation 后F1、BLEU-1 和 LLM-as-a-Judge 都有明显提升。简单来说Memory Distillation 的作用就是检索可以召回尽可能多的候选记忆但回答前必须筛选否则无关记忆会干扰模型推理。4. 更强的 Memory Manager 能放大 Answer Agent 收益论文 Figure 6 还分析了一个很有意思的问题Answer Agent 的收益是否依赖 Memory Manager 的质量图源Yan et al., 2026Figure 6。结果显示当 Answer Agent 搭配更强的 Memory Manager 时提升幅度更大。这说明 Memory-R1 的两个组件之间存在联动关系如果记忆库本身质量更高Answer Agent 更容易选出有用信息如果 Answer Agent 更会筛选记忆也更能发挥高质量记忆库的价值。这也符合直觉如果一个人的笔记本身写得很乱后面再怎么认真查笔记也很难回答好问题如果笔记整理得好回答问题时就会轻松很多。十二、PPO、GRPO 和奖励设计分析1. PPO 与 GRPO论文比较了 PPO 和 GRPO 在 Answer Agent 训练中的奖励曲线。图源Yan et al., 2026Figure 7。结果显示GRPO 在训练初期收敛更快可能是因为它使用组内相对归一化能在早期提供更强的学习信号。不过随着训练推进PPO 和 GRPO 最终都能达到较好的奖励水平。这也解释了为什么论文中同时报告 PPO 和 GRPO而不是只使用一种 RL 策略。2. 奖励设计为什么不用 LLM-as-a-Judge 作为奖励论文还做了一个奖励设计对比实验。表源Yan et al., 2026Table 2。结果很有意思使用 LLM-as-a-Judge 作为奖励时J 分数更高但 F1 和 BLEU-1 明显更低使用 EM 作为奖励时F1 和 BLEU-1 更高整体更均衡。原因是 LLM-as-a-Judge 奖励会鼓励模型生成更长、更解释型的答案。论文中举了一个例子问题是Did John and James study together?EM 奖励模型可能回答Yes.而 LLM-as-a-Judge 奖励模型可能回答Yes, John and James studied together, as they were part of the same online programming group, as implied by the memories above.从语义上看后者没错但在 F1 和 BLEU-1 这类字符串重叠指标下长回答可能反而被扣分。这说明奖励设计会明显影响模型输出风格。对于论文实验来说使用 EM 奖励更方便和 baseline 做公平比较但如果放到真实应用中也许可以根据任务需求重新设计奖励。3. Learned Memory Distillation vs Reranker论文还比较了 Memory-R1 的 learned memory distillation 和传统 reranker。图源Yan et al., 2026Figure 8。结果显示reranker 能带来一定准确率提升但会引入额外延迟Memory-R1 则能在准确率和延迟之间取得更好的平衡。这部分对工程落地比较有启发。因为很多系统会在 RAG 后面加一个 reranker但 reranker 本身也会增加推理成本。Memory-R1 的思路是让 Answer Agent 在生成过程中学会筛选记忆从而避免额外模块带来的延迟。十三、一个简单例子Memory-R1 在 Agent 中可能怎么用为了更直观地理解可以想象一个长期陪伴型 Agent。用户在不同时间说过这些话第 1 次对话 我最近养了一只狗叫 Buddy。 第 2 次对话 我又收养了一只狗叫 Scout。 第 3 次对话 Buddy 最近不太舒服我带它去看了兽医。 第 4 次对话 Scout 很喜欢在公园里跑。普通记忆系统可能会把这些内容分别存成几条孤立记忆用户养了一只狗 Buddy。 用户养了一只狗 Scout。 Buddy 最近不舒服。 Scout 喜欢在公园跑。如果管理不好还可能误判 Buddy 和 Scout 的信息互相冲突。Memory-R1 中的 Memory Manager 更理想的做法是逐步更新记忆UPDATE 用户养了两只狗分别叫 Buddy 和 Scout。Buddy 最近身体不太舒服Scout 喜欢在公园跑。当用户后面问我一共养了几只狗Answer Agent 检索到很多候选记忆后不应该被“Buddy 看兽医”“Scout 跑步”等细节干扰而应该筛出和数量直接相关的记忆用户养了两只狗分别叫 Buddy 和 Scout。最后回答你一共养了两只狗。这个例子能体现 Memory-R1 的两个关键能力Memory Manager 负责把长期信息整合成稳定记忆Answer Agent 负责从检索结果中筛出最相关的内容。十四、和 A-Mem、MemAct 的区别如果把这篇论文和前面几篇 Agent 记忆论文放在一起看可以发现它们关注点不太一样。方法关注点核心问题A-Mem记忆的自进化和结构化关联记忆如何自动更新、关联和演化MemAct / Memory as Action工作上下文的主动管理Agent 如何把上下文管理当作动作Memory-R1通过 RL 学习记忆管理和记忆利用Agent 如何通过最终任务奖励学习存、改、删、用记忆Memory-R1 和 A-Mem 都关注“记忆不是静态存储”但区别在于A-Mem 更强调记忆之间的动态链接和自进化Memory-R1 更强调用强化学习训练模型选择记忆操作并让回答阶段学会过滤记忆噪声。Memory-R1 和 MemAct 都用了“把记忆相关行为纳入策略学习”的思路但区别在于MemAct 更关注长程任务中的工作上下文裁剪和写入Memory-R1 更关注外部 memory bank 中的记忆维护以及 RAG 召回后如何筛选记忆。因此这篇论文可以看成是 Agent 记忆机制从“设计记忆结构”进一步走向“学习记忆策略”的一个代表工作。十五、局限性论文也提到了 Memory-R1 当前的局限。1. 主要评估的是对话类数据集Memory-R1 的实验主要集中在 dialogue-centric datasets例如 LoCoMo、MSC 和 LongMemEval。这些数据集覆盖了多种推理类型但仍然主要是文本对话场景。未来如果扩展到多模态记忆例如图像、语音、视频等可能会遇到新的挑战。2. Memory Manager 和 Answer Agent 是分开训练的论文中为了保证稀疏奖励下训练稳定将 Memory Manager 和 Answer Agent 分开训练。这样做有利于稳定优化但也让系统流程不够端到端。未来如果能使用端到端的多 Agent 强化学习也许可以让两个 Agent 之间形成更紧密的协作。3. 奖励归因仍然困难Memory Manager 的奖励来自最终 QA 是否正确。但如果最终答错很难判断到底是记忆新增错了记忆更新错了记忆删除错了检索召回有噪声Answer Agent 推理错了。这类 credit assignment 问题在 Agent 强化学习中很常见也是后续需要进一步解决的问题。4. EM 奖励可能限制回答风格论文最终选择 EM 作为奖励是为了让模型在 F1、BLEU-1 和 LLM-as-a-Judge 上取得更平衡的效果。但真实应用中用户不一定总是需要短答案。有些任务可能更需要解释型回答。因此未来可以根据具体应用场景设计更灵活的奖励函数。十六、我的理解和启发这篇论文给我的最大启发是Agent 记忆系统不能只靠规则设计记忆管理和记忆利用本身也可以成为可学习的能力。很多 Agent 项目中的记忆模块通常是这样做的用户信息写入向量库每次对话按相似度召回太长就摘要冲突信息通过提示词让模型判断回答时把检索结果直接拼进 prompt。这些方法能实现基础记忆功能但还是偏工程规则。Memory-R1 的思路则更进一步让模型通过最终任务效果来学习哪些记忆操作是有用的。对我自己做 Agent 项目来说有几点启发记忆管理应该和任务结果绑定一条记忆操作是否好不应该只看它表面上是否符合规则而要看它是否提升后续任务表现。记忆更新比记忆新增更重要长期交互中很多新信息不是全新事实而是对旧事实的补充。系统如果只会 ADD不会 UPDATE就容易造成记忆碎片化。召回之后还需要筛选RAG 召回只是第一步召回结果里可能有大量噪声。真正有效的 Agent 需要学会从候选记忆中筛出最有用的部分。奖励设计会影响回答风格EM 奖励会鼓励短答案LLM-as-a-Judge 奖励可能鼓励更长、更解释型的答案。因此实际系统中需要根据产品目标设计奖励。强化学习可能是 Agent 记忆机制的重要方向如果说早期记忆系统更关注“怎么存”那么 Memory-R1 这类方法开始关注“怎么学会存、改、删、用”。简单来说Memory-R1 的价值不只是提出了一个新的记忆框架而是把 Agent 记忆系统从“启发式规则”推进到了“结果驱动学习”。十七、总结本文提出了Memory-R1一个用于记忆增强 LLM Agent 的强化学习框架。它包含两个核心组件Memory Manager学习 ADD、UPDATE、DELETE、NOOP 等结构化记忆操作Answer Agent通过 Memory Distillation 筛选检索到的记忆并基于相关记忆进行推理回答。这两个组件都使用 PPO 或 GRPO 进行结果驱动的强化学习微调。Memory Manager 的奖励来自下游 QA 正确性Answer Agent 的奖励来自最终回答和标准答案之间的 Exact Match。实验结果表明Memory-R1 在 LoCoMo 上优于 LoCoMo RAG、A-Mem、Mem0、MemoryOS 和 Memory-SFT 等 baseline并且能够泛化到 MSC 和 LongMemEval也能扩展到 Qwen-2.5-3B、7B、14B 等不同模型规模。整体来看这篇论文的核心价值在于提出了一种新的视角记忆不是只需要被存储和检索也可以被学习和优化。对于 Agent 记忆机制来说这个思路很值得关注。未来的记忆系统可能不再只是向量库、摘要器或规则控制器而是一个能够根据任务反馈不断学习的动态系统。参考资料Yan S, Yang X, Huang Z, et al. Memory-R1: Enhancing Large Language Model Agents to Manage and Utilize Memories via Reinforcement Learning. In Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 12805–12825, 2026.