标题DecompRL: Solving Harder Problems by Learning Modular Code Generation来源arXiv, 2607.02390v1️文章简介研究问题大语言模型如何在基础策略成功率极低时以较低GPU成本解决高难度编程问题主要贡献论文提出DecompRL算法通过学习分层模块化代码生成与重组将搜索瓶颈从昂贵GPU推理转移至廉价CPU评估显著提升高算力预算下的难题求解率。重点思路采用分层生成范式训练分解策略将复杂问题拆解为独立子函数再训练实现策略并行编写各模块代码打破自回归生成的序列依赖。利用模块条件独立性进行解重组对n个模块各生成k种实现组合出k的n次方个候选解以线性推理成本换取指数级搜索空间扩展。设计LogMeanExp奖励聚合函数平滑插值于均值与最大值之间近似混合passk目标平衡探索与利用避免高采样下优势稀疏导致的梯度失效。引入留一法基线计算优势针对多智能体协作特性通过剔除当前动作参与的奖励来估计反事实价值有效降低梯度方差并防止奖励坍塌。实施交替冻结训练策略先固定实现策略训练分解策略再反之解决联合训练中的非平稳性与信用分配难题确保两个策略协同进化。分析总结在高Token预算下表现卓越当每问题消耗超10万Token时DecompRL在LiveCodeBench等基准上超越GRPO及多样性优化基线解决标准方法无法触及的难题。计算效率大幅提升相同评估次数下GPU Token消耗减少约50倍系统瓶颈成功从GPU生成转移至CPU执行使廉价算力扩展成为可能。重组机制是关键增益来源模型学到的分解粒度越大在高评估预算下的性能提升越显著验证了组合爆炸对搜索能力的决定性作用。消融实验证实核心组件必要性移除LogMeanExp导致奖励坍塌取消交替训练引发熵崩溃去掉留一法基线则使性能提前饱和。存在格式税与规模塌陷局限在简单问题或低预算下性能不如整体生成且训练中分解粒度可能逐渐退化需通过目标函数调节缓解。个人观点论文将“分而治之”思想内化为可学习的强化学习目标用少生成、多组合的策略把花钱的地方从 GPU 转到了 CPU从而用同样的钱探索更大的搜索空间。