导读预训练让模型学会语言后训练让模型学会做人。SFT、PPO、GRPO、DPO 看似各成一派底层却共用同一个框架——真正的分叉点只有一处Loss 如何设计。本文逐一拆解各方法的 Loss 演化讲清每种方法跑几张网、靠什么信号驱动更新、能突破什么天花板。大模型的完整生命周期分两段预训练Pre-training自监督、海量原始文本、定义模型能力上限——详见《大模型预训练底层全解》后训练Post-training一切让模型好用的手段包括 SFT、PPORLHF、GRPO、DPO、Agent Tuning——本文的主题两段的底层计算范式完全相同数据打包、因果掩码、反向传播真正让它们产生差异的只有一件事Loss 的设计——哪些位置的预测错误需要被惩罚、用什么目标函数来衡量好坏。★注历史上常见的预训练 → SFT → RLHF三阶段说法是 2022 年 InstructGPT 论文确立的经典路径。随着 DPO、GRPO、RLVR 等方法涌现后训练内部的方法已大幅分叉预训练 / 后训练两段式是当下更准确的框架。零、后训练的两种逻辑监督学习 vs 强化学习后训练内部的所有方法本质上只有两种信号来源监督学习SFT / Agent Tuning给模型一个正确答案让它模仿。上限被标注数据锁死——人类没有写出来的更好回答模型永远学不到。强化学习PPO / GRPO / DPO不给标准答案只给评分信号让模型自己试错、探索、找到得分更高的策略——能突破标注数据天花板但工程更复杂。DPO 在工程形式上类似监督学习但数学上等价于 RL 目标详见第四节。强化学习RL套到大模型里经典 RL 概念大模型中的对应物Agent智能体语言模型本身State状态当前 Prompt 已生成的 token 序列Action动作选择下一个 tokenPolicy策略 模型的概率分布Reward奖励人类打分 / 奖励模型评分 / 可验证结果一次 RL “回合”给模型一个 Prompt → 自回归生成完整回答 → 获得 Reward 标量 → 更新参数鼓励高分回答抑制低分回答。循环往复模型不断进化。这是 SFT 做不到的SFT 让模型复现人类示范RL 让模型超越人类示范。DeepSeek-R1 的推理涌现正是模型在 GRPO 的在线探索中自己发现的推理链不是人工标注喂进去的。在线On-policyvs 离线Off-policy是 RL 类方法之间最核心的区别监督类方法 SFT / Agent Tuning 本身就使用固定数据集不涉及此维度在线训练数据由当前模型实时生成模型边探索边学习——能突破标注数据天花板但计算开销大PPO、GRPO离线训练数据偏好对提前收集好模型不参与数据生成——工程简单、成本低但上限受限于数据集质量DPO一、指令微调SFTLoss Mask 向量点乘SFT 的核心逻辑是模型必须学会优雅地回答但不需要学会如何提问。数据流打包算法同学会把Prompt提示词和Answer回答拼接成一条样本。例如User: 11? Assistant: 2.游戏规则在计算交叉熵 Loss 时框架会引入一个和序列等长的Loss Mask向量值只有 0 和 1提示词部分回答部分矩阵计算出的所有位置 Loss 点会与这个 Mask 向量进行点乘。模型预测提示词部分的错漏得分全部被乘上 0直接抹杀只有预测答案部分的 Loss 被保留并参与最终的平均计算。被 Mask 掉的 Prompt 位置并非「不参与计算」而是「不产生直接梯度」。它的 K、V 仍被全量计算因为 Response 的 attention 必须回望 Prompt 的上下文反向传播时梯度也会沿 attention 权重间接流回 Prompt 的参数。SFT 的算力开销因此与预训练几乎相当节省的只是末尾 Loss 聚合那一步。二、人类反馈对齐RLHF经典的 PPO 四网对抗RLHF 的 PPO近端策略优化阶段不再只有一张大网在前向传播时显存里其实同时跑着4 张独立的大网演员模型当前被训、参考模型冻结对齐、奖励模型打分器、评论家模型分数预测。游戏规则演员模型自回归吐出一串回答。让演员模型和参考模型同时跑前向对比两者的接龙概率分布。如果演员模型由于太想讨好人类而导致概率分布偏离参考模型太远算法会算出一个KL 散度惩罚项。奖励模型给这句话打一个总分减去惩罚项得到**净奖励 **。净奖励 减去评论家模型的预估分得到**优势值Advantage**。最终的 PPO Loss 使用裁剪目标防止策略更新幅度过大其中 为新旧策略的概率比 为裁剪超参数通常取 0.2。框架把整个 Batch 内所有位置的 PPO Loss 求平均后进行反向传播。若优势值为正超常发挥Loss 变小反向传播时就会大大鼓励网络以后继续这样接龙。三、GRPO砍掉评论家让模型和自己赛跑PPO 的评论家模型是个沉重的负担——它和策略模型同样大需要独立训练还要时刻和策略模型保持同步更新。DeepSeek-R1 使用的GRPOGroup Relative Policy Optimization直接把它拿掉了。替换思路非常直观**评论家的唯一作用是给出基线分**告诉算法这次回答究竟是超常发挥还是失常。GRPO 不依赖独立的评论家而是让模型对同一个 Prompt一次采样 条不同回答用这组回答的平均奖励和标准差充当天然基线好比老师不给你打绝对分而是把你同一道题写的 8 份草稿全部收上来比这 8 份均分高的草稿就算超常发挥低的就算失常——组内竞争代替外部评判。Loss 结构和 PPO 完全相同保留 clip 防止策略跳变KL 惩罚项直接加入每个 token 的 Loss显存里只剩3 张网演员模型、参考模型KL 惩罚用、奖励模型打分用。评论家彻底消失。四、直接偏好优化DPO双网对数差值规训由于 PPO 同时跑 4 张网导致显存开销和工程复杂度极高DPO直接偏好优化进行了颠覆——它不需要单独的奖励模型和评论家模型直接用模型自己的接龙概率就能充当隐式打分器。显存里只有两张网当前训练模型 (Policy)和冻结参考模型 (Ref)。游戏规则输入成对的偏好数据[Prompt, 满意回答 (Chosen), 不满意回答 (Rejected)]。把[Prompt Chosen]塞进两张网算出当前模型和参考模型接龙出 Chosen 的总对数概率 和 。只对 Response 部分的 token 求和Prompt 作为条件上下文不计入——与 SFT 的 Loss Mask 逻辑完全一致。把[Prompt Rejected]也塞进两张网算出接龙出 Rejected 的总对数概率 和 。塞入 DPO 专属的 Loss 核心公式其中 为 Sigmoid 函数 为控制偏离参考模型幅度的超参数。这个公式的直觉非常纯粹它在最大化当前模型相对于参考模型更偏好 Chosen与更偏好 Rejected之间的差距。当满意回答的相对对数概率远高于不满意回答时括号内的值很大Sigmoid 趋近于 1Loss 趋近于 0反之 Loss 飙升并触发严厉的反向传播惩罚。为什么说 DPO “数学上等价于 RL”斯坦福研究者证明在 KL 约束下最大化奖励这个 RL 目标存在解析最优解——最优策略和参考策略的概率比本身就隐式编码了奖励信号。DPO 直接利用这个等价关系把先训练奖励模型、再用 RL 优化两步合并成一步监督学习绕开了在线采样但解决的是同一个优化问题。代价是没有在线探索模型只能在已有的偏好对范围内调整无法自主发现更好的回答。五、智能体轨迹微调Agent Tuning精准雕刻思考链与工具调用Agent Tuning 本质上是 SFT 的延伸只是教材从问答对升级成了决策轨迹。一条典型样本是模型与外部环境多轮交互的完整记录User: 帮我查一下今天北京的天气。Thought: 我需要调用天气查询工具。Action: search_weather(city北京)Observation: {weather: 晴, temp: 28°C}Thought: 已拿到结果可以回答了。Answer: 今天北京晴气温 28°C适合出行。数据流打包整条轨迹按角色顺序拼接成一个序列送入训练框架。游戏规则Loss Mask 向量按角色精确切割只保留模型自主决策的片段User输入和Observation工具返回的环境反馈位置的 Loss 权重设为 0——模型不需要学会如何提问也不需要学会模拟工具返回值只有Thought推理过程、Action工具调用与参数以及最终Answer的 Loss 权重设为 1参与梯度更新。这种精准的 Mask 策略让模型只从决策者视角学习何时需要工具、调用什么参数、如何整合外部信息并给出答案——而不会被环境反馈污染误以为自己要学会模拟整个外部世界。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】