来源arXiv · 2026年6月29日 · Meta Platforms University of Maryland论文Experience Graphs: The Data Foundation for Self-Improving Agents (arXiv:2606.29823)作者Gang Liao, Gaoxiang Liu (Meta) 等 20 余位作者标签#经验图 #自进化Agent #MCTS #内核优化 #训练数据你的 Agent 跑了 100 次任务存了 100 条轨迹——但没有一条是可复用知识你的 AI Agent 跑了 100 次代码生成任务失败了 60 次。你把所有轨迹存进经验回放池下次随机采样几条来学习。但问题是——你存的是 100 条原始轨迹不是 100 条可复用的知识。就像程序员把所有 commit 记录存下来但没有提炼成可复用的函数库。更糟糕的是传统经验回放存的是状态-动作-奖励-下一状态元组——这是给 RL 用的不是给 LLM Agent 用的。LLM Agent 的状态不是数值向量是代码、配置、测试用例它的动作不是离散选择是生成一段可执行的程序。用 RL 的记忆框架存 LLM Agent 的经验就像用 Excel 存视频文件——格式不对。Meta 和马里兰大学的研究者认为Agent 的经验应该是一棵树不是一堆扁平记录。他们叫它经验图Experience Graph。在 KernelEvolve 项目中——为 NVIDIA、AMD、MTIA、CPU 四个硬件平台生成优化内核——经验图把达到 1.2× 加速所需步数从 51 步降到 5 步有 bug 的节点从 55% 降到 21%论文 Section 4.1。这个改进不是来自更大的模型或更好的 prompt而是来自怎么组织经验。下面拆解经验图的数据结构、为什么查询比收集更适合生成训练数据、以及 Meta 在生产环境中学到的教训。经验图长什么样经验图采用四层关系型层次结构论文 Section 2.1层级含义存什么Tasks定义问题规格说明、目标环境、成功指标Sessions记录搜索过程谁在搜索、用哪种算法、进度如何Nodes每次独立尝试父节点链接、可执行工件、执行输出、适应度分数、UCB分数/世代ID等元数据Prompt HistoriesLLM消息历史模型看到的精确消息序列节点之间的边是虚拟父子关系通过外键实现用 Cypher 查询语言的[:HAS_CHILD*1..k]变长遍历操作暴露。图可以是树MCTS/贪心搜索或 DAG进化搜索的交叉操作产生论文 Section 2.1。这里有一个关键设计决策值得深思边不是预存的是查询时计算的。传统图数据库存边表经验图用外键 Cypher 变长遍历动态生成边。这意味着同一个节点集可以从不同维度建立不同的图视图——按父子和谱系看是一棵树按适应度排序看是一个排行榜按工具使用看是一个工具调用图。但更重要的是节点存了什么。传统经验回放存的是数值向量状态和离散动作。经验图的节点存的是可执行工件——代码、配置、测试用例。这意味着记忆本身可以被重放、diff 和重用论文 Section 2.3。你不仅能知道这个尝试失败了还能知道它生成的代码哪里错了甚至能直接复用失败代码中正确的部分。训练数据不是收集的是查询的这是经验图最巧妙的设计也是和传统 RL 经验回放最大的区别。传统 RL 从回放缓冲区随机采样训练数据。经验图用图模式匹配查询生成训练数据论文 Section 3.3。三种训练数据对应三种查询SFT 轨迹从根到叶的路径从根节点到叶节点的路径就是一条完整的解题过程。但这里有个精妙的设计——AS-OF 时间旅行查询。每个节点在决策时只能看到它之前的信息不能看到之后的信息。查询时重建每个节点决策时的精确状态避免未来信息泄漏论文 Section 3.3。从数据分析的角度这是因果一致性的保证。如果你在训练数据里让第 3 步的 Agent 看到第 5 步的结果它学到的是作弊策略而非真实推理。AS-OF 查询确保训练数据和真实推理时的信息边界一致。DPO 偏好对同父兄弟的适应度差异这是最优雅的设计。同一个父节点下的多个子节点兄弟如果适应度差异大就天然构成偏好对——适应度高的chosen适应度低的rejected论文 Section 3.3。用 Cypher 查询MATCH (p)-[:HAS_CHILD]-(a), (p)-[:HAS_CHILD]-(b) WHERE a.fitness_score b.fitness_score $m AND a.is_buggy false RETURN a AS chosen, b AS rejected传统 DPO 需要人工标注偏好对。经验图用树搜索的副产品自动生成偏好对——同一个父节点下的兄弟尝试成功的就是正例失败的就是负例。搜索过程本身就是在产出训练数据。从 AI 工程的角度这解决了一个实际痛点DPO 训练数据标注成本高。如果 Agent 的搜索过程天然产生偏好对你不需要额外标注搜索即标注。GRPO 组把多小时展开坍缩为单步GRPOGroup Relative Policy Optimization从持久化缓冲区采样状态生成 N 个子候选GRPO 组评估后计算组归一化优势通过 SQL 窗口函数实现论文 Section 3.3。最后追加一个规范节点——将多小时的多轮展开成本坍缩为单步扩展。这个设计解决的是 RL 的信用分配问题。传统 RL 在长链路任务中无法可靠追溯成功/失败到具体步骤GRPO 通过在同一状态生成多个候选来隔离单步贡献。传统经验回放回答不了的问题论文 Section 2.3 有一个对比表最能说明经验图的价值维度传统经验回放经验图记录内容状态-动作-奖励-下一状态元组可执行工件 目标奖励 工具输出 因果谱系结构扁平的转换序列树/DAG节点带父链接、奖励和兄弟关系检索方式按时间或优先度均匀采样图遍历 向量相似度 结构化过滤可执行性无——状态是数值向量有——记忆是程序、配置、测试用例因果性缺失核心属性——失败的动作在父计划和兄弟上下文中才有价值最后一行是关键。传统经验回放无法回答哪个兄弟方法在当前方法失败的地方成功了这类查询。而在树搜索中这恰恰是核心操作——你不仅要知道这个尝试失败了还要知道和它同父的兄弟哪个成功了、成功在哪。从知识管理的角度经验图存的不只是发生了什么还有为什么发生——父子关系记录了决策谱系兄弟关系记录了对比基准。这让经验从数据升级为知识。实战验证KernelEvolve 加速器内核优化经验图在 Meta 的 KernelEvolve 项目中做了主要实验——为 NVIDIA、AMD、MTIA、CPU 四个硬件平台生成优化内核将 ML 模型操作转换为芯片特定指令论文 Section 4.1。实验对比无跨会话记忆冷启动vs 启用经验图记忆注入率 p0.1 和 p0.5固定模型、步数预算100步、工作线程数和搜索策略论文 Section 4.1指标无记忆p0.1p0.5有 bug 节点率55%34%21%达到基线加速的有效节点率79.5%90.8%100%达到 1.2× 加速所需步数~51 步~5 步~5 步每个有效节点的 token 成本基线降 52%降 52%从 51 步到 5 步——达到同样的加速比步数减少 90%。有 bug 的节点从 55% 降到 21%token 成本降 52%。这不是模型变强了是经验复用让 Agent 站在了前人肩膀上。但论文也诚实指出一个 trade-offp0.5 时最佳单点解是 1.36×反而低于无记忆的 1.49×论文 Section 4.1。过度依赖记忆会牺牲探索多样性——你更快收敛到了还行的解但错过了最优的解。p0.1 在收敛速度和探索之间取得最佳平衡。从产品设计的角度这是一个经典的探索-利用困境。p 是探索-利用的旋钮p0 是纯探索每次冷启动p1 是纯利用完全依赖记忆。甜蜜点 p0.1 意味着10% 的时候参考记忆90% 的时候独立探索——大部分时候探索新方法偶尔参考前人经验。生产部署层面KernelEvolve 带来了超过 60% 的推理吞吐量提升论文 Section 4.1但这是系统级生产指标不是受控实验对比。跨领域复用改适应度函数就够了经验图的第二个验证是 MTIA 硅片硬件验证——找芯片 bug论文 Section 4.2。改造方式极简只改适应度函数奖励发现 bug 而非优化性能和技能定义指令集架构、已知勘误、覆盖引导策略经验图、查询层、搜索编排等基础设施无需修改直接复用。这个跨领域复用的效果说明经验图的架构是领域无关的——它存的是搜索过程的结构不是特定领域的内容。换领域只需要换适应度函数和技能定义就像换数据库的 schema 但不改数据库引擎。论文还提到科学发现、药物发现、芯片布局规划、编译器优化、自动化科学研究等领域共享相同的树结构探索模式论文 Section 5但未提供实验数据。这是合理的——论文的贡献是经验图基础设施不是证明所有领域都能用。启发与反思经验图的查询而非收集改变了训练数据生产范式传统 RL 的训练数据生产是收集——跑完 episode 存进 buffer训练时随机采样。经验图的训练数据生产是查询——需要 SFT 轨迹就查根到叶路径需要 DPO 偏好对就查同父兄弟差异需要 GRPO 组就查同状态多候选。这让我想到数据库领域的 ETL vs ELT 之争。ETL 是先转换再加载先处理成训练数据再存ELT 是先加载再转换存原始数据查询时转换。经验图是 ELT 思路——存原始搜索过程训练时按需查询转换。好处是同一份经验可以支持多种训练数据格式不需要预决定用哪种。p0.1 是经验系统的黄金比例10% 参考记忆、90% 独立探索——这个比例让我想到强化学习中的 ε-greedy 策略。ε-greedy 的 ε 通常设为 0.1意味着 10% 的时候随机探索90% 的时候利用已知最优。经验图的 p0.1 恰好相反——10% 利用记忆90% 探索新方法。差异在于RL 的利用是利用当前策略经验图的利用是利用历史经验。但背后的原理是一样的——少量参考已知 大量探索未知 最优平衡。对 OpenClaw 自进化协议的启示OpenClaw 的自进化协议当前主要靠 memory overview.md 积累经验。但经验图告诉我经验的结构比经验的数量更重要。OpenClaw 的 memory 是扁平的文本条目没有父子关系和兄弟对比。如果 OpenClaw 把 memory 组织成树结构——每次解决问题的过程是一个节点同一问题的不同解法是兄弟节点——就能支持查同父兄弟差异这类查询。这不需要改 memory 存储只需要在 memory 条目中加父问题 ID和兄弟解法 ID字段。树搜索副产品 训练数据是最值钱的洞察大多数 Agent 框架把搜索过程当作中间产物——搜索完了就扔掉只保留最终结果。经验图说搜索过程本身就是训练数据而且是高质量的训练数据有明确的成功/失败标签。这让我想到一个被低估的机会很多 Agent 系统每天都在跑大量任务搜索过程产生的对比数据被浪费了。如果把这些数据用经验图的方式存下来就是源源不断的 DPO 偏好对和 SFT 轨迹。你的 Agent 日常运行就是在产出训练数据你只是没存。经验图也不是银弹p0.5 时最佳单点解低于无记忆——过度依赖记忆有害探索。这个 trade-off 提醒我经验系统不是越多越好。在快速变化的环境中比如代码库频繁更新老经验可能是有害的。经验图没有讨论经验过期机制——节点会不会因为太旧而失效论文的软遗忘频繁使用更新衰减是一种但不是时间维度的过期。三类人的行动清单 工程师把 Agent 经验从扁平存储改为树结构——父子关系和兄弟对比是天然的训练数据来源论文 Section 2.3。不需要图数据库关系型表 外键就行。用 Cypher/SQL 查询生成 DPO 偏好对——同父兄弟的适应度差异就是偏好标注论文 Section 3.3。你的 Agent 日常搜索过程就是在产出训练数据你只是没存。注入率 p0.1 是起点——10% 参考记忆、90% 独立探索论文 Section 4.1。p0.5 虽然收敛快但牺牲探索多样性。明天就能做检查你的 Agent 是否保存了每次尝试的父节点和兄弟节点。如果没有加两个 ID 字段parent_id, sibling_ids这是经验图的最小可行版本。 技术管理者跨会话记忆是 ROI 最高的改进——51 步到 5 步token 成本降 52%论文 Section 4.1。如果你的 Agent 每次任务都冷启动你在浪费大量算力。p0.1 是探索-利用的黄金比例——但要在你的场景中验证。不同领域的最优 p 可能不同。跨领域复用是架构投资——Meta 证明改适应度函数就能跨领域论文 Section 4.2。如果你的 Agent 基础设施不能跨领域复用说明抽象层级不够。明天就能做评估你的 Agent 系统是否有跨会话记忆能力。如果没有这是最高优先级——51→5 的改进不是渐进优化是 10 倍提升。 创业者/PM经验图是 Agent 基础设施层的差异化机会——大多数 Agent 框架还停在扁平记忆。谁先做出经验图即服务谁占位。训练数据查询而非收集可以产品化——Agent 训练数据平台按需生成 SFT/DPO/GRPO 数据。搜索过程数据是被低估的资产——你的客户每天都在跑 Agent 任务搜索过程的对比数据是金矿。明天就能做读论文 Section 3.3 的三种训练数据查询评估是否能做成通用产品。局限与诚实标注实验局限于内核优化领域——科学发现、药物发现等领域仅有愿景无实验数据论文 Section 5。经验图在这些领域的适用性是合理推测但未验证。p0.5 时最佳单点解低于无记忆——过度依赖记忆有害探索论文 Section 4.1。经验系统不是越多越好需要场景化调参。依赖 LLM 生成工件的质量——如果 LLM 生成代码质量差经验图里存的全是垃圾。垃圾进垃圾出问题没有讨论。图查询性能未讨论——大规模经验图百万节点的查询延迟可能成为瓶颈。论文用的是 Trellis 系统但未提供查询性能基准。经验过期机制缺失——论文讨论了软遗忘频率衰减但没有讨论时间维度的过期。在快速变化的环境中老经验可能有害。生产 60% 吞吐提升不是受控实验——论文明确区分了受控实验数据Table和生产指标60%但读者容易混淆。60% 包含了模型升级、系统优化等多因素贡献不能全归功于经验图。延伸阅读论文原文https://arxiv.org/abs/2606.29823同类对比Tree-of-Experience (arXiv:2606.06960) — 金融预测的树状经验管理同日学习日报技能记忆SkeMex (arXiv:2606.09365) — 医疗 Agent 技能化记忆同日学习日报方法基础MCTS、进化搜索、DPO、GRPO 文献⏱️如果只有 5 分钟看论文 Section 2.3经验图 vs 传统回放对比表和 Section 4.1KernelEvolve 实验数据表。这两个能告诉你核心答案。路易乔布斯 © 2026 · AI论文观察 · Agent经验管理Meta Platforms University of Maryland · Experience Graphs · 2026.06基于 arXiv HTML 全文研读数据已溯源含启发与反思