《DAPO: Decoupled Clip and Dynamic sAmpling Policy Optimization》的核心是开源一个可复现的大规模强化学习RL系统用于激发大型语言模型LLM的复杂推理能力并在数学推理任务AIME 2024上达到最先进水平。以下是全面的总结概括1. 研究背景与问题背景通过强化学习进行“测试时扩展”如OpenAI o1、DeepSeek R1能显著提升LLM在数学、编程等复杂推理任务上的表现。问题现有最先进推理模型如DeepSeek R1的技术报告隐藏了关键RL训练细节导致学术界难以复现其结果。现状作者基于GRPO基线在Qwen2.5-32B模型上仅得到AIME 30分远低于DeepSeek报告的47分暴露了原始算法在熵崩溃、奖励噪声、训练不稳定等方面的严重问题。2. 主要贡献作者提出了DAPO解耦裁剪与动态采样策略优化算法并完全开源了训练代码、算法细节和数据集实现了在AIME 2024上达到50分avg32超越DeepSeek-R1-Zero-Qwen-32B的47分。仅用DeepSeek 50%的训练步数就达到该性能。3. 四项关键技术这是文章的核心创新点专门针对长思维链long-CoTRL场景设计技术作用Clip-Higher提高裁剪上限将PPO/GRPO中的上下裁剪范围解耦ε_low0.2, ε_high0.28增大上界允许低概率“探索性”token获得更大提升有效避免熵崩溃保持策略多样性。动态采样Dynamic Sampling过滤掉准确率为0或1的样本这些样本梯度为零或噪声大只保留“有梯度”的样本填充batch提高训练效率和稳定性加快收敛。Token级策略梯度损失替代GRPO的样本级损失按总token数归一化而非按样本数平均使长序列中的每个token获得公平贡献避免长样本中的低质量模式如重复、胡言乱语被忽视。超长奖励塑造Overlong Reward Shaping对超过最大长度的截断样本不直接给予简单惩罚而是设计一个渐进式惩罚区间软惩罚减少奖励噪声稳定训练。4. 实验与结果基座模型Qwen2.5-32B预训练模型。数据集自建DAPO-Math-17K将答案统一转换为整数形式便于规则化奖励评估。训练配置批次512每组16个回应最大生成长度20,480 token学习率1e-6。消融实验表1原始GRPO30分超长过滤36Clip-Higher38软性超长惩罚41Token级损失42动态采样完整DAPO505. 训练动态与关键观察熵管理Clip-Higher有效逆转熵崩溃且适度上升的熵有利于性能提升。长度增长回应长度随训练增加为复杂推理提供空间但需监控异常过长可能伴随低质量生成。奖励稳定性训练集奖励上升稳定但与验证集准确率相关性弱提示存在过拟合。推理模式涌现模型在训练中自发产生反思、回溯等高级推理行为这些行为在早期完全不存在。6. 开源内容算法完整描述与伪代码。基于verl框架的训练代码。DAPO-Math-17K数据集17K数学题整数答案。全部超参数和工程细节确保可复现性。7. 总结与意义DAPO通过四项针对性技术解决了大规模LLM RL在长思维链场景下的熵崩溃、梯度失效、奖励噪声和长度失控问题。开源系统为社区提供了工业级、可复现的RL训练方案降低了进入门槛推动LLM推理能力的民主化研究。未来方向包括更深入理解推理模式涌现、跨任务迁移如编程、通用推理等。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示官方项目主页地址在这里如下所示项目地址在这里如下所示摘要推理时的扩展赋予了大型语言模型LLM前所未有的推理能力而强化学习RL作为激发复杂推理的核心技术。然而最先进的推理LLM的关键技术细节并未公开例如OpenAI o1博客和DeepSeek R1技术报告因此学术界仍在努力复现其RL训练结果。我们提出了解耦裁剪与动态采样的策略优化算法DAPO并完全开源了一个最先进的大规模RL系统该系统使用Qwen2.5-32B基座模型在AIME 2024上取得了50分的成绩。与以往隐藏训练细节的工作不同我们介绍了算法中的四项关键技术这些技术使得大规模LLM RL取得成功。此外我们开源了基于verl框架构建的训练代码以及一个经过精心整理和处理的数据集。我们开源系统的这些组成部分增强了可复现性并支持未来在大规模LLM RL领域的研究。1 引言诸如OpenAI的o1 [1]和DeepSeek的R1 [2]等测试时扩展技术为大型语言模型LLMs[3-7]带来了深刻的范式转变。测试时扩展使得模型能够进行更长的“思维链”思考并诱发复杂的推理行为这使得模型在AIME和Codeforces等竞赛数学和编程任务上表现卓越。推动这一革命的核心技术是大规模强化学习RL它能够激发出诸如自我验证和迭代修正等复杂的推理行为。然而实际的可扩展RL训练算法和关键秘诀仍然是一个谜被现有推理模型的技术报告所隐藏[1, 2, 8-11]。在本文中我们揭示了大规模型RL训练中的显著障碍并开源了一个可扩展的RL系统该系统拥有完全开源的算法、训练代码和数据集为工业级RL结果提供了民主化的解决方案。我们使用Qwen2.5-32B [12]作为RL的预训练模型进行实验。在我们最初的GRPO运行中我们在AIME上仅取得了30分——这个性能显著低于DeepSeek的RL结果47分。深入分析表明原始的GRPO基线存在几个关键问题如熵崩溃、奖励噪声和训练不稳定。更广泛的学术界在复现DeepSeek的结果时也遇到了类似的挑战[13-19]这表明R1论文中可能遗漏了开发一个工业级、大规模且可复现的RL系统所需的关键训练细节。为弥补这一差距我们发布了一个开源的最先进大规模LLM RL系统该系统基于Qwen2.5-32B模型在AIME 2024上达到了50分以50%的训练步数超越了由DeepSeek-R1-Zero-Qwen-32B [2]取得的先前最先进结果47分图1。我们提出了解耦裁剪与动态采样策略优化DAPO算法并介绍了4项关键技术使RL在长思维链long-CoTRL场景中大放异彩。细节在第3节中呈现。提高裁剪上限Clip-Higher提升系统多样性并避免熵崩溃动态采样Dynamic Sampling提高训练效率和稳定性Token级策略梯度损失Token-Level Policy Gradient Loss在长思维链RL场景中至关重要超长奖励塑造Overlong Reward Shaping减少奖励噪声并稳定训练。我们的实现基于verl框架[20]。通过完全发布我们最先进的RL系统包括训练代码和数据我们旨在揭示对大规模LLM RL有价值的见解使更广泛的社区受益。2 预备知识2.1 近端策略优化PPOPPO [21] 引入了一个裁剪的替代目标函数用于策略优化。通过使用裁剪操作将策略更新限制在先前策略的近端区域内PPO稳定了训练并提高了样本效率。具体来说PPO通过最大化以下目标来更新策略图2 在RL训练过程中应用Clip-Higher策略前后AIME测试集上的准确率和Actor模型生成概率的熵。2.2 组相对策略优化GRPO同样值得注意的是GRPO在样本级别sample-level计算目标函数。准确地说GRPO首先计算每个生成序列内的平均损失然后再对不同样本的损失进行平均。正如我们将在第3.3节中讨论的这种差异可能会对算法性能产生影响。2.3 移除KL散度KL惩罚项用于调节在线策略与冻结的参考策略之间的差异。在RLHF场景[23]中RL的目标是使模型行为与初始模型对齐同时不偏离太远。然而在训练长思维链推理模型期间模型2.4 基于规则的奖励建模使用奖励模型通常会遇到奖励篡改reward hacking问题[24-29]。相反我们直接使用可验证任务的最终准确率作为结果奖励其计算遵循以下规则3 DAPO3.1 提高上限Clip-Higher在我们使用原始PPO [21]或GRPO [38]的初步实验中我们观察到了熵崩溃现象随着训练的进行策略的熵迅速下降图2b。某些组的采样回应趋于几乎相同。这表明探索受限和策略过早确定这会阻碍扩展过程。我们提出了Clip-Higher策略来解决此问题。裁剪重要性采样比率是在裁剪近端策略优化PPO-Clip[21]中引入的用于限制信任区域并增强RL的稳定性。我们发现上限裁剪会限制策略的探索使得“利用性”token更易变得更可能而一个不太可能的“探索性”token的概率则因上限过紧而难以提升。3.2 多多益善动态采样当某些提示prompts的准确率达到1时现有的RL算法会遭遇梯度减小的问题。例如对于GRPO如果某个特定提示的所有输出 {oi}i1G​ 都是正确的并收到相同的奖励则该组的优势为零。零优势导致零策略梯度从而缩小了批次梯度的幅度并增加了其对噪声的敏感性进而降低了样本效率。根据经验准确率等于1的样本数量持续增加如图3b所示。这意味着每批次中有效提示的数量不断减少这可能导致梯度方差增大并削弱模型训练的梯度信号。为此我们提出过度采样并过滤掉准确率为1和0的提示如公式11所示从而使批次中所有提示都保留有效梯度并保持一致的提示数量。每个批次的采样成本是动态的。在训练前我们持续采样直到批次被准确率既非0也非1的样本完全填满。图4 Actor模型概率分布的熵以及回应长度的变化。请注意此策略不一定妨碍训练效率因为如果RL系统是同步的且生成阶段没有流水线化生成时间通常由生成长尾样本的时间主导。此外我们发现采用动态采样的实验能更快地达到相同性能如图6所示。3.3 再平衡Token级策略梯度损失原始的GRPO算法采用样本级损失计算即首先对每个样本内的token损失取平均然后跨样本聚合损失。在这种方法中每个样本在最终损失计算中被赋予相等的权重。然而我们发现在长思维链RL场景下这种损失归约方法引入了一些挑战。由于所有样本在损失计算中被赋予相同的权重较长回应包含更多token中的token对总损失的贡献可能不成比例地低这可能导致两个不利影响。首先对于高质量的长样本这种效应会阻碍模型学习其中与推理相关的模式。其次我们观察到过长的样本通常表现出低质量模式如胡言乱语和重复词语。因此样本级损失计算由于无法有效惩罚长样本中的这些不良模式导致熵和回应长度不健康地增加如图4a和图4b所示。我们在长思维链RL场景中引入了Token级策略梯度损失来解决上述限制这种设置下较长的序列与较短的序列相比可以对整体梯度更新产生更大的影响。此外从单个token的角度来看如果某个特定的生成模式能够导致奖励增加或减少无论它出现在多长的回应中它都将被同等地促进或抑制。3.4 捉迷藏超长奖励塑造在RL训练中我们通常为生成设置一个最大长度超长样本会被相应地截断。我们发现对截断样本进行不恰当的奖励塑造会引入奖励噪声并严重扰乱训练过程。图5 应用超长奖励塑造策略前后Actor模型在AIME上的准确率及其生成概率的熵。默认情况下我们对截断样本分配一个惩罚性奖励。这种方法可能会向训练过程引入噪声因为一个合理的推理过程可能仅仅因为其长度过长而受到惩罚。这种惩罚可能会使模型对其推理过程的有效性产生困惑。为了研究这种奖励噪声的影响我们首先应用了超长过滤Overlong Filtering策略该策略屏蔽了截断样本的损失。我们发现这种方法显著稳定了训练并提升了性能如图5所示。图6 在基线设置上应用动态采样前后的训练进度。3.5 数据集转换4 实验4.1 训练细节在本工作中我们专注于数学任务来评估我们的算法该算法可以轻松迁移到其他任务。我们采用verl框架[20]进行训练。我们使用原始GRPO [38]作为基线算法并使用组奖励归一化来估计优势。对于超参数我们使用AdamW [39]优化器恒定学习率为 1×10−61×10−6并在前20个rollout步骤中进行线性预热。对于rollout提示批次大小为512我们为每个提示采样16个回应。对于训练小批量大小设置为512即每个rollout步骤进行16次梯度更新。对于超长奖励塑造我们将预期最大长度设置为16,384个token并额外分配4,096个token作为软惩罚缓存。因此生成的最大token数设置为20,480。对于Clip-Higher机制我们将裁剪参数 ϵlow​ 设置为0.2ϵhigh​ 设置为0.28这有效地平衡了探索和利用之间的权衡。对于AIME评估我们重复评估集32次并报告avg32以保证结果的稳定性。评估的推理超参数设置为温度1.0和top-p 0.7。4.2 主要结果在AIME 2024上的实验表明DAPO已成功将Qwen-32B基座模型训练成一个强大的推理模型其性能优于DeepSeek使用R1方法在Qwen2.5-32B上的实验。在图1中我们观察到AIME 2024性能的显著提升准确率从接近0%提高到50%。值得注意的是这一提升仅用了DeepSeek-R1-Zero-Qwen-32B所需训练步数的50%便实现了。我们分析了我们方法中每种训练技术的贡献详见表1。观察到的改进证明了这些技术在RL训练中的有效性每项技术都对AIME 2024的准确率贡献了几个百分点。值得注意的是在原始的GRPO设置下从Qwen2.5-32B基座模型开始训练只能达到30%的准确率。对于Token级损失虽然它带来的性能提升较小但我们发现它增强了训练稳定性并使长度增长更加健康。当应用动态采样时尽管由于过滤掉零梯度数据而需要采样更多数据但总体训练时间并未受到显著影响。如图6所示尽管采样实例数量增加但模型收敛时间甚至减少了这是因为所需的训练步数更少。表1 应用于DAPO的渐进式技术的主要结果模型AIME24 avg32DeepSeek-R1-Zero-Qwen-32B47原始 GRPO30 超长过滤36 Clip-Higher38 软性超长惩罚41 Token级损失42 动态采样 (DAPO)504.3 训练动态大型语言模型上的强化学习不仅是一个前沿研究方向也是一个内在复杂的系统工程挑战其特点是各个子系统之间的相互依存。对任何单个子系统的修改都可能在整个系统中传播由于这些组件之间复杂的相互作用可能导致不可预见的后果。即使是初始条件中看似微小的变化例如数据和超参数的差异也可能通过迭代的强化学习过程被放大从而在结果上产生显著偏差。这种复杂性常常使研究人员面临一个困境即使经过细致分析并有充分依据地期望某项修改能改善训练过程的特定方面实际结果也常常偏离预期轨迹。因此在实验过程中监控关键中间结果对于快速识别差异来源并最终优化系统至关重要。生成回应的长度是一个与训练稳定性和性能密切相关的指标如图7a所示。长度的增加为模型提供了更大的探索空间使得更复杂的推理行为能够被采样并通过训练逐步强化。然而需要注意的是长度在训练过程中并不总是保持持续上升的趋势。在某些相当长的时期内它可能表现出停滞甚至下降的趋势这一点在[2]中也有体现。我们通常将长度与验证准确率结合使用作为评估实验是否恶化的指标。训练过程中奖励的动态一直是强化学习中至关重要的监控指标之一如图7b所示。在我们的大多数实验中奖励增加的趋势相对稳定不会因实验设置的调整而出现大幅波动或下降。这表明在给定可靠奖励信号的情况下语言模型能够稳健地拟合训练集的分布。然而我们发现训练集上的最终奖励通常与验证集上的准确率相关性很小这表明模型对训练集存在过拟合。Actor模型的熵和生成概率与模型的探索能力相关是我们在实验中密切监控的关键指标。直观上模型的熵需要维持在一个适当的范围内。熵过低表明概率分布过于尖锐导致探索能力丧失。相反熵过高通常与过度探索问题相关例如胡言乱语和重复生成。对于生成概率情况则完全相反。如第3.1节所述通过应用Clip-Higher策略我们有效地解决了熵崩溃问题。在后续实验中我们发现保持熵缓慢上升的趋势有利于模型性能的提升如图7c和图7d所示。图7 DAPO的回应长度、奖励分数、生成熵和平均概率的指标曲线这些曲线展示了RL训练的动态并作为识别潜在问题的重要监控指标。4.4 案例研究在RL训练过程中我们观察到一个有趣的现象Actor模型的推理模式随时间动态演变。具体来说该算法不仅强化了有助于正确解决问题的现有推理模式而且还逐渐产生了最初不存在的新推理模式。这一发现揭示了RL算法的适应性和探索能力并为模型的学習机制提供了新的见解。例如在模型训练的早期阶段几乎不会出现对先前推理步骤进行检查和反思的情况。然而随着训练的进行模型表现出明显的反思和回溯行为如表2所示。这一观察结果为深入探索RL过程中推理能力涌现的解释提供了方向我们将其留待未来研究。5 结论在本文中我们发布了一个完全开源的大规模LLM RL系统包括算法、代码基础设施和数据集。该系统达到了最先进的大规模LLM RL性能使用Qwen-32B预训练模型在AIME上取得50分。我们提出了解耦裁剪与动态采样策略优化DAPO算法并介绍了4项关键技术使RL在长思维链RL场景中强大、有效且高效。此外通过开源训练代码和数据集我们为更广泛的研究界和社会提供了一个实用的、可扩展的强化学习解决方案使所有人都能从这些进步中受益。