一、研究问题与动机核心问题LLM智能体在复杂任务中表现出色但每个任务执行都是孤立的无法从过去的成功或失败中学习严重阻碍了其演化能力。现有方法的缺陷基于记忆的方法如Reflexion、Mem0直接存储原始轨迹冗余且噪声严重难以提取关键信息轨迹压缩方法如MemRL仅模仿过去解决方案未能提炼核心原则也未将记忆融入策略决策这些方法忽视了经验迁移需要抽象这一关键洞察——人类专家不记忆每个动作细节而是发展出技能紧凑、可重用的策略二、提出的方法SKILLRLSKILLRL是一个通过自动技能发现和递归演化来弥合原始经验与策略改进之间差距的框架包含三个核心组件2.1 基于经验的技能蒸馏同时保留成功轨迹提取战略模式和失败轨迹综合为简洁的失败教训使用教师模型将冗长轨迹蒸馏为紧凑、可重用的技能实现10-20倍的令牌压缩同时增强推理效用2.2 分层技能库SKILLBANK层级内容作用通用技能SgSg​跨所有任务类型的通用战略原则提供基础性指导任务特定技能SkSk​特定任务类别的专门知识提供精细化、类别特定的策略推理时通过语义相似度检索相关任务特定技能通用技能始终包含在上下文中2.3 递归技能演化冷启动SFT在RL前让模型学习如何检索、解释和应用技能动态演化每个验证轮次后分析失败轨迹→识别未被当前技能覆盖的失败模式→生成新技能或改进现有技能→更新技能库形成良性循环智能体改进 → 遇到新挑战 → 驱动技能库扩展 → 促进进一步改进使用GRPO作为基础RL优化器三、实验设置维度内容环境ALFWorld家庭任务、WebShop网络购物、7个搜索增强QA任务基础模型Qwen2.5-7B-Instruct教师模型OpenAI o3用于技能蒸馏和SFT数据生成基线闭源LLMGPT-4o, Gemini-2.5-Pro、提示/记忆方法ReAct, Reflexion, Mem0, ExpeL, MemP、RL方法RLOO, GRPO、记忆增强RLMemRL, EvolveR, Mem0GRPO, SimpleMemGRPO四、主要结果4.1 ALFWorld与WebShop性能方法ALFWorld成功率WebShop成功率SKILLRL89.9%72.7%GRPO最佳RL基线77.6%66.1%Mem0GRPO54.7%37.5%GPT-4o48.0%23.7%关键发现相较GRPO绝对提升12.3%ALFWorld和6.6%WebShop在最复杂的子任务PickTwo, Cool上分别超越GRPO达23%和22.8%以7B模型显著超越GPT-4o和Gemini-2.5-Pro等大模型4.2 搜索增强QA方法平均准确率SKILLRL47.1%EvolveR43.1%Search-R138.5%在Bamboogle等复杂多跳任务上超越EvolveR达19.4%在域外数据集TriviaQA, 2Wiki上仍保持竞争力证明泛化能力强五、消融与分析结果消融条件ALFWorld下降关键结论移除分层结构-13.1%通用技能提供必要的基础指导用原始轨迹替换技能高达 -25%抽象优于记忆原始经验噪声严重移除冷启动SFT-20%模型需要学习如何利用技能移除动态演化-5.5%动态演化为技能库提供持续价值其他关键分析技能库增长从55个技能12通用43任务特定增长到100个20通用80任务特定上下文效率比原始记忆方法减少约10.3%的令牌占用收敛加速达到80%成功率仅需约60步无演化基线需90步且峰值更低六、核心贡献总结提出SKILLRL框架通过自动技能发现和递归演化弥合原始经验与策略改进的差距创建分层技能库SKILLBANK区分通用与任务特定技能实现高效检索与指导引入递归演化机制确保技能库与智能体策略在RL过程中共同演化实证验证在9个基准上达到SOTA提升15.3%以上展现卓越的上下文效率和泛化能力核心哲学从经验到技能的抽象是构建能力强、样本效率高的LLM智能体的关键原则。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示项目地址在这里如下所示摘要大型语言模型LLM智能体在复杂任务中展现了惊人的成果但它们通常在孤立状态下运行无法从过去的经验中学习。现有的基于记忆的方法主要存储原始轨迹这些轨迹往往冗余且噪声严重。这阻碍了智能体提取高级、可重用的行为模式而这些模式对于泛化至关重要。在本文中我们提出了 SKILLRL 框架该框架通过自动技能发现和递归演化弥合了原始经验与策略改进之间的差距。我们的方法引入了一种基于经验的蒸馏机制以构建分层技能库 SKILLBANK一种用于通用和任务特定启发式方法的自适应检索策略以及一种递归演化机制该机制允许技能库在强化学习过程中与智能体的策略共同演化。这些创新显著减少了令牌占用同时增强了推理实用性。在 ALFWorld、WebShop 和七个搜索增强任务上的实验结果表明SKILLRL 达到了最先进的性能优于强基线方法 15.3% 以上并且在任务复杂性增加时保持稳健性。1. 引言大型语言模型LLM智能体Yao 等人2022bShinn 等人2023在各种复杂任务中展现了卓越的能力例如网页导航Google2025OpenAI2025c和深度研究OpenAI2025bGoogle2024Team 等人2025通过自然语言与复杂环境进行交互。尽管取得了这些进展但每次任务执行在很大程度上仍然是 episodic情节性的。当前的 LLM 智能体孤立运行无法从过去的成功或失败中学习Zhang 等人2025b这显著阻碍了它们的演化。因此一个根本性的挑战依然存在智能体如何有效地从经验中学习并将这些知识迁移到其他任务图 1. (a) SKILLRL 流程概览。与先前的方法灰色虚线存储原始轨迹并丢弃失败案例不同SKILLRL 采用基于经验的蒸馏机制将多样化的经验转化为结构化技能。(b) 在 ALFWorld 验证集Shridhar 等人上的性能。与标准 GRPO 和基于记忆增强的 RL 相比SKILLRL 实现了更快的收敛和更高的成功率。现有的基于记忆的 LLM 智能体方法主要涉及在采样过程中将原始轨迹直接保存到外部数据库中以作为未来类似任务的参考Shinn 等人2023Zhao 等人2024。虽然直观但这些原始轨迹通常很长并且包含大量的冗余和噪声Chhikara 等人2025使得模型难以提取关键信息。最近的工作尝试通过在线训练来压缩轨迹并更新记忆库Zhang 等人2025b2026从而提高了记忆效率。然而这些方法仅仅是模仿过去的解决方案它们未能提炼出核心原则也未能调整智能体的内部策略以利用记忆进行引导决策。如图 1(a) 的虚线流程所示此类方法常常在信息密度与噪声之间进行权衡导致性能次优甚至退化如图 1(b) 所示。我们认为这些方法忽略了一个关键见解有效的经验迁移需要抽象化。人类专家不会记住每种情况下的每一个动作相反他们会发展技能Anthropic2024即紧凑、可重用的策略这些策略捕捉了如何完成特定子任务的精髓。受此观察启发我们提出了 SKILLRL一个通过自动技能发现和递归技能演化来弥合原始经验与高效策略改进之间差距的框架。SKILLRL 首先引入了一种基于经验的技能蒸馏机制该机制从环境交互中收集多样化的轨迹并应用差异化处理成功的 episodes 被保留为演示而失败的 episodes 则被综合成简洁的失败教训以减轻上下文噪声。其次我们将这些经验转化为分层技能库 SKILLBANK区分了用于通用战略指导的通用技能和用于任务级启发式方法的任务特定技能。这种抽象允许智能体在决策过程中自适应地检索相关技能显著减少令牌占用同时增强推理实用性。最后SKILLRL 在强化学习RL过程中融入了一种递归技能演化机制其中技能库被视为一个动态组件而非静态知识源。通过在每次验证轮次后分析失败模式以生成新技能或优化现有技能我们的方法确保技能库和智能体的策略共同演化从而在任务复杂性增加时保持稳健性。如图 1(b) 所示SKILLRL 实现了明显更快的收敛和更高的渐近性能。主要贡献是 SKILLRL一个框架它使 LLM 智能体能够通过自动技能发现和递归演化弥合原始经验与策略改进之间的差距。通过将冗余轨迹提炼为分层的 SKILLBANK我们的方法抽象出通用和任务特定的技能以高效地指导决策。此外我们引入了一种递归演化机制确保在强化学习过程中技能库和智能体策略共同演化。在 ALFWorld、WebShop 和七个搜索增强基准上的实证结果表明SKILLRL 实现了最先进的性能提升了 15.3%在任务成功率和推理实用性方面显著优于当前的基于记忆的智能体调优基线方法。2. 预备知识3. SKILLRL在本节中如图 2 所示我们提出了 SKILLRL一个旨在通过自动技能发现和递归演化来弥合原始交互经验与策略改进之间差距的框架。SKILLRL 包含三个核心组件。首先我们开发了一种基于经验的技能蒸馏机制将冗余轨迹转化为简洁、可操作的知识。其次我们将这些蒸馏后的经验组织成一个分层技能库 S从而能够高效地检索通用和任务特定的专业知识。最后我们引入了一种递归技能演化机制该机制利用 RL 动态地改进技能库使其与智能体的策略协同发展。我们详细描述这些组件如下3.1. 基于经验的技能蒸馏从环境交互中收集的原始轨迹 τ 是冗长的包含探索性动作、回溯和冗余步骤这些掩盖了导致成功或失败的关键决策。为了将这些经验转化为可操作的知识我们采用了一个教师模型 MT​ 来将轨迹蒸馏为紧凑、可重用的技能。图 2. SKILLRL 框架概览。我们使用基础模型收集轨迹将其蒸馏成分层技能库执行冷启动 SFT 以实现技能利用然后基于验证失败进行动态技能演化的 RL 训练。具体来说我们首先在目标环境 E 中部署一个基础 LLM 智能体 πbase3.2. 分层技能库 (SKILLBANK) 构建遵循 Agent SkillsAnthropic2024的设计原则我们将蒸馏后的知识组织成一个分层技能库 SKILLBANK以便在决策过程中高效检索相关专业知识。3.3. 递归技能演化静态的技能库无法预料智能体将遇到的所有场景。随着策略的改进和对新状态空间的探索智能体会遇到现有技能无法提供充分指导的情况。我们引入在强化学习过程中的递归技能演化来解决这一限制使技能库和智能体策略能够共同演化。4. 实验我们在九个具有挑战性的 LLM 智能体基准上评估 SKILLRLALFWorld、WebShop 和七个搜索增强的 QA 任务。我们的实验旨在回答以下问题1) SKILLRL 与最先进的方法相比如何2) 每个组件的贡献是什么3) 技能库在训练过程中是如何演化的4) 技能是否加速了模型收敛4.1. 实验设置环境。ALFWorldShridhar 等人是一个基于文本的游戏与 ALFRED 具身 AI 基准对齐。智能体必须通过文本命令导航和与物体交互来完成家庭任务。WebShopYao 等人2022a模拟了网络购物。智能体在现实的网络界面中导航以找到并购买符合用户规格的产品。此外我们还在搜索增强的 QA 任务上评估 SKILLRL 的性能包括单跳 QA 数据集NQKwiatkowski 等人2019、TriviaQAJoshi 等人2017和 PopQAMallen 等人2023和多跳 QA 数据集HotpotQAYang 等人2018、ZWikiHo 等人2020、MuSiQueTrivedi 等人2022和 BambooglePress 等人2023。基线方法。我们将 SKILLRL 与四类竞争方法进行比较。首先我们包括闭源 LLM特别是 GPT-4oOpenAI2024和 Gemini2.5-ProComanici 等人2025它们代表了通用推理和指令跟随的最新技术水平。其次我们评估基于提示的智能体或基于记忆的方法包括 ReActYao 等人2022b和 ReflexionShinn 等人2023它们依赖于上下文提示进行多步推理以及 Mem0Chhikara 等人2025、ExpeLZhao 等人2024和 MemPFang 等人2025它们利用外部记忆或经验池来指导行为而无需参数更新。第三我们考虑基于 RL 的方法包括基于组的在线 RL 算法如 RLOOAhmadian 等人2024和 GRPOShao 等人2024它们通过轨迹组的优势估计来优化策略。最后我们与基于记忆增强的 RL 方法进行比较例如 EvolveRWu 等人2025、MemRLZhang 等人2026以及 Mem0GRPO 和 SimpleMemLiu 等人2026GRPO 的组合这些方法将持久记忆机制直接整合到强化学习优化过程中以处理长期依赖。对于搜索增强的 QA我们将 SKILLRL 与 R1-Instruct、Search-o1Li 等人2025、Search-R1Jin 等人2025、ZeroSearchSun 等人2025和 StepSearchZheng 等人2025进行比较。4.2. 主要结果与基线方法比较。我们在两个基准上将 SKILLRL 与基线方法进行比较如表 1 所示。我们的方法在所有基线上均持续优于它们主要观察结果如下相较于基于提示的方法有显著提升。SKILLRL 在 ALFWorld 上达到 89.9% 的成功率在 WebShop 上达到 72.7%大幅优于最佳的基于提示的基线。这种差距表明虽然上下文学习可以利用过去的经验但它往往无法从冗长的轨迹中提炼出可操作的知识或从根本上调整智能体的策略。优于标准 RL。RL 训练带来了实质性的提升但 SKILLRL 持续超越标准 RL 基线。与 PPO、RLOO 和 GRPO 相比SKILLRL 取得了最佳的总体性能。值得注意的是由于 SKILLRL 使用 GRPO 作为其基础优化器相较于 GRPO 在 ALFWorld 上 12.3% 的绝对提升从 77.6% 到 89.9%直接归因于我们的技能增强机制而非算法差异。在复杂的子任务如 Cool 和 Pick2 中SKILLRL 分别比 GRPO 高出 23.0% 和 22.8%证明结构化的技能先验能有效地在稀疏奖励环境中加速和增强策略学习。优于基于记忆增强的 RL。SKILLRL 显著优于现有的基于记忆增强的 RL 框架这些框架在管理和更新经验的方式上有所不同。MemRL 仅使用 RL 来更新其记忆库同时保持策略冻结未能适应复杂环境在 ALFWorld 上仅达到 21.4%。EvolveR 联合更新策略和记忆库有所提升43.8%但仍受限于其依赖原始轨迹存储的方式。为了提供一个更具竞争力的基线我们实现了 Mem0GRPO它将最先进的基于提示的记忆机制与优化的策略模型相结合。虽然这种混合方法将性能提升至 ALFWorld 上的 54.7% 和 WebShop 上的 37.5%但它仍然与 SKILLRL 存在较大差距约 35.2% 的绝对成功率差距。这些结果验证了我们的核心假设有效的经验迁移需要高层次的技能抽象和共同演化的库而非简单的轨迹压缩或基于提示的记忆检索。与闭源模型比较。值得注意的是基于 Qwen2.5-7B-Instruct 的 SKILLRL 显著优于规模大得多的闭源模型如表 1 所示。在 ALFWorld 上我们的方法超过 GPT-4oOpenAI202441.9%超过 Gemini-2.5-ProComanici 等人202529.6%。这表明有效的技能学习可以弥补模型规模的不足使得较小的开源模型通过结构化的经验知识也能实现卓越的任务性能。在搜索增强 QA 上的性能。如表 2 所示SKILLRL 取得了 47.1% 的平均得分显著优于 Search-R138.5%和 EvolveR43.1%。主要观察包括1)卓越的多跳推理能力SKILLRL 在 Bamboogle 等复杂任务中表现出色超越 EvolveR 达 19.4%。这表明分层技能有效地指导了多步信息合成。2)强大的泛化能力尽管仅在有限的数据集NQ, HotpotQA上训练SKILLRL 在 TriviaQA 和 2Wiki 等 OOD 任务上仍保持了有竞争力的性能证实了蒸馏出的搜索策略是任务无关的。4.3. 分析在本节中我们提供关于每个模块有效性和技能演化动态的详细分析。消融研究。我们进行消融实验以评估每个组件的贡献结果见表 3。根据结果1移除分层结构即仅使用任务特定技能导致 ALFWorld 上性能下降 13.1%WebShop 上下降 11.3%表明通用战略原则提供了必要的基础性指导。2用原始轨迹替换技能库导致了最大的性能下降高达 25%这直接支持了我们的动机即抽象优于记忆。原始经验引入了显著的冗余和噪声阻碍了有效的知识迁移。3冷启动 SFT 至关重要没有它性能下降 20%证实了基础模型在进入 RL 阶段之前需要一个初始的显式演示阶段来学习如何自适应地检索和利用抽象技能。4动态演化贡献了 5.5% 的性能提升通过确保技能库是一个动态组件而非静态数据库。这种共同演化允许智能体通过解决初始技能集未覆盖的新兴失败模式来迭代地改进其内部策略。ALFWorld 上的逐任务分析。表 1 按任务类型细分了 ALFWorld 的性能。最大的提升出现在 PickTwo (23%)、Cool (22%) 和 Heat (15%) 任务上这些任务是需要多步规划和状态跟踪的最具挑战性的任务。任务特定技能在此尤其有价值它们捕捉了诸如“在拾取两个物体时在搜索第二个物体之前先确认第一个已固定”等策略以解决常见的失败模式。技能库增长。图 3 显示了技能库在训练过程中的演化情况。初始技能库包含 55 个技能12 个通用43 个任务特定。通过动态演化到训练结束第 150 步时增长到 100 个技能。增长主要由任务特定技能驱动从 43 个增加到 80 个而通用技能的增长则更为平稳从 12 个增加到 20 个。值得注意的是我们观察到各任务类别的扩展是均衡的确保智能体为每种环境交互发展出专门的专业知识。这种整体扩展反映了智能体日益增长的能力即改进其技能库并处理特定任务类型内的多样化场景。上下文效率。为了评估技能抽象对推理开销的影响我们比较了 SKILLRL 与使用原始轨迹的记忆增强基线Qwen2.5-7B with Raw Memory的平均提示长度如图 4 所示。结果显示虽然原始记忆方法遭受高且波动的令牌占用平均约 1,450个令牌SKILLRL 维持了显著更精简的提示平均约 ≤1,300 个令牌实现了大约 10.3% 的上下文长度缩减。这种效率源于我们的蒸馏机制该机制将冗长的环境交互压缩为高密度、可操作的技能。值得注意的是SKILLRL 在实现更优性能的同时所需的上下文少于基于记忆的基线这表明技能抽象有效地缓解了传统基于记忆的智能体中常见的上下文膨胀问题。表 2. 在搜索增强的 QA 任务上的性能。SKILLRL 在 NQ 和 HotpotQA 上训练。 和 分别表示域内和域外数据集。\* 表示从 (Sun 等人2025) 复现的结果。表 3. 消融研究结果。我们报告 ALFWorld 和 WebShop 上的平均成功率 (%)。方法ALFWorldWebShopSKILLRL89.972.7技能库消融无分层结构76.861.4无技能库使用原始轨迹61.750.2训练流程消融无冷启动 SFT65.246.5无动态演化84.470.3图 3. RL 训练期间技能库大小的演化。动态技能演化在验证检查点时添加技能。演化动态。图 5 展示了有无递归技能演化机制的强化学习训练曲线。我们观察到虽然无演化的 SKILLRL 表现出稳定的改进但带有技能演化的 SKILLRL 展现出显著更高的学习率和更优的渐近性能。具体来说SKILLRL 在 60 个训练步内达到了超过 80% 的成功率而基线大约需要 90 步才能达到一个较低的峰值。这种收敛加速表明新技能的动态引入和现有技能的改进有效地为智能体提供了及时的战略指导以克服局部最优。此外更高的性能上限验证了技能库和策略的共同演化使得智能体能够适应静态记忆方法无法解决的日益复杂的任务场景。定性分析。为了进一步研究 SKILLRL 如何利用学到的知识我们在图 6 中可视化了在 ALFWorld 和 WebShop 上的推理过程。案例研究表明我们训练好的智能体能够有效地从 SKILLBANK 中检索并执行相关技能以指导其决策。例如在 WebShop 任务中智能体调用了诸如“优先考虑核心关键词”的通用策略以及“聚焦关键查询”等任务特定启发式方法以确保产品在有限的预算内满足所有约束。同样在 ALFWorld 中智能体协调了分层技能即使用“渐进式目标分解”进行高层规划使用“先拿物体再使用电器”来避免常见的逻辑陷阱。这种通用和特定技能的无缝整合证实了智能体不仅仅是记忆轨迹而是发展了对任务逻辑的结构化理解从而实现更稳健、更高效的问题解决。5. 相关工作LLM 智能体。能力强大的 LLM 的出现催化了自主智能体系统的快速发展Wei 等人2026。ReActYao 等人2022b交织推理和行动使得在交互过程中能够进行思维链风格的规划而 ReflexionShinn 等人2023则通过自我反思过去的失败引入了口头强化。像 AutoGenWu 等人2024和 CAMELLi 等人2023这样的框架展示了通用多智能体能力具备自动化编排和多样化工具集成。虽然初期工作集中在编码或基础算术等受限任务上这些方法主要依赖上下文学习ICLDong 等人2024。然而随着任务变得更加复杂这些智能体难以扩展因为它们将每次交互视为孤立事件每次新任务都必须从头开始没有任何先验知识。图 5. ALFWorld 验证集上的成功率。递归技能演化显著加速了收敛并提升了整体性能上限。智能体中的记忆机制。为了克服有限上下文窗口和智能体无法从经验中学习的局限性外部记忆架构已成为智能体设计的基石Hu 等人2025Wang2025。早期系统主要使用静态 RAG 范式或将原始轨迹存储为少样本示例Wang 等人Chhikara 等人2025Zhang 等人2025aWang 等人2024。然而原始轨迹通常令牌密集且包含显著的冗余和噪声这可能导致性能下降。当前研究已转向自我改进的记忆将交互提炼为更高层次的见解或程序性技巧Wang Chen2025Tang 等人2025Fang 等人2025Zhao 等人2024Ouyang 等人2025Wei 等人2025。虽然一些近期工作探索通过在线训练更新记忆库以提高效率Zhang 等人2025b2026但许多现有方法仍难以区分高价值经验和噪声或未能提炼出能够指导内部决策的核心原则。智能体技能和强化学习的演化。智能体技能Anthropic2024的发展即紧凑、可重用、捕捉子任务精髓的策略越来越多地通过持续学习CL和 RL 的视角来看待。传统的 CLParisi 等人2019侧重于预定义任务中的知识保留而自演化智能体Gao 等人2025Xia 等人2025Liu 等人2025则旨在开放式环境中进行主动技能获取Fang 等人2025Wang 等人2025。虽然 RL 被广泛用于对齐 LLMSchulman 等人2017Ouyang 等人2022或通过基于规则的验证器改进推理Shao 等人2024但由于稀疏奖励和长时程将其应用于智能体技能仍然具有挑战性。与先前将记忆视为静态或辅助源的基于记忆增强的 RL 不同近期的趋势表明高效经验迁移的关键在于抽象Wu 等人2025。我们的工作在此基础上将技能库视为一个与智能体策略共同演化的动态组件利用 RL 通过递归失败分析来改进结构化技能。6. 结论我们介绍了 SKILLRL一个用于 LLM 智能体中技能增强强化学习的框架。通过将原始轨迹蒸馏为紧凑、可重用的技能并在训练过程中实现动态技能演化SKILLRL 在 ALFWorld 和 WebShop 上取得了最先进的性能同时使用的上下文远少于基于记忆的方法。我们的工作表明从经验到技能的抽象是构建能力强、样本效率高的智能体的一个强有力原则。