大模型记忆:关于记忆的五篇关键论文MemGPT、 Generative Agents、MemoryBank、A-MEM、LoCoMo

📅 2026/7/15 3:55:24
大模型记忆:关于记忆的五篇关键论文MemGPT、 Generative Agents、MemoryBank、A-MEM、LoCoMo
记忆的本质定义我们先给一些对 Agent 记忆的本质定义这些定义非常有助于我们理解复杂的系统。记忆的本质是上下文工程。记忆的加工是基于重要度的信息压缩。降低系统总信息负载的有损压缩策略记忆的复杂加工一定是异步的记忆是具有生命周期的序列有冲突消解、去重与合并。记忆允许不确定性允许带有问号的记忆出现具备元认知与置信度。记忆是分层的常见分类是工作记忆、情节记忆、语义记忆和程序记忆。记忆中离散是信息的呈现形式网络是记忆的组织结构。能准确想起来的记忆才是好记忆想不起来的记忆没有意义。记忆的检索非常重要不只是记还有搜记忆的核心目标是为了改进未来的决策和行动记忆的本质不是对过去的归档而是对未来行动的预测性准备。单 Agent 记忆服务于智能多 Agent 记忆服务于秩序。**上篇回顾**MemGPT 重点讲了分层架构——FIFO 滑窗队列 历史消息的 recall 层 归档查询Generative Agents 讲了基于 stream 流的语义重要度打分和检索 reflection 的提炼压缩。我们继续讲后面三篇重要的记忆领域的论文03MemoryBank — 重要性如何动态变化arxiv 2305.10250 · AAAI 2024 · Enhancing Large Language Models with Long-Term MemoryGenerative Agents 用 LLM 在写入时打一次重要性分数但真实人际关系里「李坤最近学 AI 压力很大」和「三个月前随口提过想换耳机」不应该等权对待——前者是核心事实后者可能早已不重要。更重要的是**重要性会随使用而变化。**一条记忆被反复调用应该越记越牢长期无人问津的细节应该自然淡出。MemoryBank 的核心洞察是**遗忘是设计不是 bug。**真正的记忆不是数据库而是会衰退、会强化的活系统。数据维度艾宾浩斯遗忘曲线每条记忆有一个会随时间衰减的强度记忆强度公式R e(-t/S)t 距上次访问的时间 · S 稳定性 f初始重要性, 被访问次数→ 反复被用到的记忆S 上升衰减变慢 · → 长期未访问的自然淡出「考虑换手机」三个月没再提应该淡出「学 AI 压力很大」被多次证实应该越记越牢。自然语言维度动态用户画像MemoryBank 并没有抛弃 LLM 提炼——它维护一份持续更新的用户画像原始对话记录Raw Events plaintext ↓ LLM 定期摘要提炼 plaintext 用户画像User Portrait plaintext ├── 基本事实姓名、职业、生活情况 plaintext ├── 性格特征内向倾向、完美主义 plaintext ├── 兴趣偏好技术深度偏好、排斥营销话术 plaintext ├── 近期状态上周换了工作压力比较大 plaintext └── 情绪模式睡眠不好时容易焦虑和抱怨 ↑ 随每次对话持续更新所以 MemoryBank 是两个维度并行数据维度时间 访问频率驱动遗忘/强化 自然语言维度LLM 画像理解。它补的不是 Generative Agents 的「何时提炼」而是记忆写入后的生命周期——哪些该越记越牢哪些该自然淡出。实验与局限作者用 SiliconFriend 陪伴应用验证15 个虚拟用户连续对话 10 天194 个记忆探针问题测试召回。有 MemoryBank 的模型在同理心、记忆召回、画像理解上均优于 baseline且优势随时间扩大。局限也很明显遗忘依据是时间和访问频率不是语义价值——「对xx药物过敏」这类低频但关键的信息可能被误杀需要单独标记为不可遗忘。另外画像摘要质量完全依赖 LLM错误一旦写入会持续污染后续对话。04A-MEM — 条目之间如何关联检索arxiv 2502.12110 · NeurIPS 2025 · Agentic Memory for LLM Agents解决的是单条记忆独立存储不够需要建立条目间的关联网络支持跨记忆的多跳推理。到 MemoryBank 为止每条记忆基本是独立存储、独立检索的。但真实任务经常需要把多条逻辑相关、语义却不相近的记忆串起来——纯向量 RAG 只能找到「语义相近的片段」找不到「逻辑相关的事件链」。显式链接Zettelkasten 卡片网络A-MEM 借鉴 Zettelkasten 卡片笔记法——每条新记忆入库时LLM 生成结构化属性内容、关键词、标签、重要性检索语义相近的历史记忆判断关联类型补充、因果、对比、时序建立显式链接。存储采用向量库 图结构混合架构检索时先用向量找到种子节点再沿图遍历扩展关联节点。记忆进化新经验改写旧理解A-MEM 更深层的设计是Memory Evolution——新记忆入库后不只追加一条记录而是触发对已有相关记忆的修订更新语义描述、标签、链接。MemGPT 到 MemoryBank 的记忆基本都是「只增不改」A-MEM 的记忆会随新经验主动修订历史理解。笔记生成 → 链接分析 → 记忆进化最关键在 LoCoMo 基准上A-MEM 在六个不同规模的基础模型上一致领先 MemoryBank、MemGPT、ReadAgent 等 baseline。工程落地作者提供了三套可集成的开源实现论文复现https://github.com/WujiangXu/AgenticMemory、模块化系统封装https://github.com/WujiangXu/A-mem-sys、MCP Server 版本https://github.com/tobs-code/a-mem-mcp-server。在学术记忆论文里工程化程度较高——但这指的是可以直接接入 Agent不等于已过大规模生产验证。05LoCoMo — 用什么尺子衡量记忆评测arxiv 2402.17753 · ACL 2024 · Snap Research · Evaluating Very Long-Term Conversational Memory of LLM Agents上面每一层到底行不行——需要一把统一的尺子而不是各说各话。LoCoMo 不提出任何记忆机制。它是记忆领域的benchmark。在 LoCoMo 出现之前最长的长期对话评测不超过 5 个会话、几百 token。LoCoMo 构建了每段约300 轮、9K token、跨 35 个会话的数据集——先用 LLM 按预设人生轨迹生成对话再经人工审核修正。评测覆盖单跳、多跳、时序、常识、对抗性五种问答难度外加事件摘要和多模态对话生成。测出来的结论很残酷所有现有方案整体不及格。Long-context LLM能读进去不等于理解时序和因果多跳推理大量失败RAG对单跳有帮助多跳几乎无效——这正是 A-MEM 图链接要解决的问题对抗性问题几乎所有模型都大量幻觉——记忆系统缺「我不知道」的能力人类基准在各维度远高于所有自动方法LoCoMo 的价值在于它反哺了演进链的方向多跳不行推动了 A-MEM基准趋近饱和后LongMemEval、MemoryArena 接棒测更难的问题——LoCoMo 高分的模型在 MemoryArena 决策任务上只有 40–60%说明「答对历史问题」≠「帮 Agent 做出更好的决策」。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】