无数大模型是怎么被「一行 PPO 参数」训废的如果你真正做过大模型微调大概率经历过这些瞬间reward 曲线一路狂飙但模型开始胡说八道模型突然学会“拍马屁”却忘了基本常识微调前还能正常回答微调后像换了个“性格”很多工程师第一次做 RLHF都会天真地以为reward 提升 模型变好直到 PPO 狠狠给你上了一课。现实是大模型不是不能优化而是不能被“猛优化”。这也是为什么在几乎所有成功落地的大模型对齐系统中PPO 最终都成了“兜底方案”。不是因为它最先进而是因为——它最不容易把模型训崩。为什么「直接优化 reward」一定会出事先说一个反直觉的事实在大模型上reward 提升越快越危险。原因很简单。语言模型的策略空间太大了。在强化学习的数学世界里策略梯度听起来很美最大化期望回报但在真实工程里它等价于允许模型为了 reward 做任何事包括钻 reward model 的空子包括破坏语言分布本身于是你会看到模型开始重复关键词回答越来越模板化一切都“看起来很对”但人类一看就不对劲问题不在 reward而在“变化幅度没人管”。PPO 的核心价值它不是教模型更聪明而是不让模型乱来理解 PPO只需要记住一句话PPO 干的不是“怎么多学一点”而是“每次只学一点点”。那个改变一切的「裁剪」PPO 最核心的设计是一个极其工程化的妥协你可以更新策略但更新幅度不能太大否则收益直接被砍掉数学上它通过一个 clipping 机制实现。直觉版解释是更新合理 → 正常给梯度更新过猛 → 直接封顶这就是为什么 PPO 在大模型里异常稳定。为什么 PPO 一定要搭配 KL这是无数次事故换来的结论如果你只记 PPO 的一个工程经验那就是这条不加 KL 的 PPO迟早翻车。KL 项的本质是告诉模型“你可以变好但别变成另一个物种”在 RLHF 场景中KL 的作用比 reward 本身还重要。KL 太小模型会奖励优先语言能力退化出现 reward hackingKL 太大模型会基本不动reward 提升极慢真正成熟的系统都会监控 KL 曲线动态调节 KL 系数PPO 在大模型里的真实工作流不是教科书版下面这部分是工程师最该看的地方。一轮真正可落地的 PPO 微调长这样。起点不是 Base Model而是 SFT这是 90% 新手会犯的错误。PPO 从来不是用来“教模型说话”的而是在模型已经会说话的前提下微调它的行为偏好没有 SFT 打底PPO 只会放大噪声。Reward Model宁可简单也别不稳定一个现实结论一个稳定的 6B Reward Model比一个不稳定的 70B 好得多Reward Model 的一致性远比“聪不聪明”重要。工程建议是reward 分布不要太极端避免强规则一票否决允许一定模糊空间PPO 的一次完整训练循环其实没那么神秘高度简化后PPO 在大模型里的核心逻辑是responses policy.generate(prompts) reward reward_model(responses) kl_penalty kl(policy, ref_policy) total_reward reward - beta * kl_penalty advantage total_reward - value_prediction update_policy_with_ppo(advantage)真正影响稳定性的从来不是公式而是batch sizePPO epoch 次数KL 系数策略如果你不想一开始就陷入 PPO 工程细节地狱LLaMA-Factory online 已经把 PPO KL Reward Model 的完整链路跑通非常适合作为第一版对齐实验环境。PPO 参数怎么调这些是“训崩模型”换来的经验一些非常值钱的经验PPO epoch 不宜多learning rate 比 SFT 更小KL 一定要监控趋势value loss 不能忽略正确顺序是先让 KL 稳住再看 reward 是否持续上升