一、训练全流程总览模型的训练过程可以理解为确定模型架构 → 准备训练数据 → 模型训练前向传播 → 误差计算 → 反向传播 → 收敛→ 结束训练二、确定模型架构架构确定阶段需要做三类关键决策Dense 还是 MoE 架构选择合适的架构兼顾效果和推理成本上下文长度设计如果需要支持 1M token 级别的长上下文需要专门的架构设计如稀疏注意力机制Tokenizer 设计决定文本如何切分成 Token会影响后续所有阶段的数据处理方式✏️ 修正重要这里有一个值得澄清的概念边界——架构层面的设置层数、隐藏层维度、注意力头数等本身也属于一种超参数但它和后面训练阶段调整的训练超参数学习率、batch size性质不同。架构超参数在这个阶段确定后训练开始就不能再改除非重新设计模型而训练超参数在每个训练阶段预训练/中训练/SFT/RL都可能重新设定。三、准备训练数据数据准备按训练阶段分为三大类阶段数据类型规模预训练海量无标注文本万亿级 token中训练通用数据 专业数据混合含数学推导过程与验证比预训练小 1-2 个数量级后训练 - SFT监督微调数据指令-回答对相对小质量要求高后训练 - 奖励建模偏好数据提示-多候选回答-排序相对小质量要求高后训练 - RL任务/环境不是标注数据是可交互的任务库——四、模型训练的三种循环逻辑核心区分点预训练 / SFT 循环 —— 监督学习范式输入数据 → 前向传播模型给出预测概率分布 → 计算交叉熵损失和真实标签比较 → 反向传播计算梯度 → 更新参数 → 重复直到收敛特点知道标准答案是什么直接算预测值和真实标签的差距。2. 奖励建模阶段循环 —— 也是监督学习但损失函数不同本质上也是监督学习但用的不是交叉熵损失而是对比损失pairwise ranking loss——训练数据是哪个回答更好的排序标签这个排序标签本身是已知的人类或 AI 标注好的所以也算知道标准答案只是标签的形式是相对排序而不是绝对分类。3. RL 阶段循环 —— 完全不同的范式模型根据 prompt 生成回答rollout / 采样 → 用 RM 或规则打分不知道标准答案只知道这个输出好不好 → 用策略梯度算法如 PPO计算”应该往哪个方向调整参数才能让未来更可能生成高奖励的回答” → 更新参数 → 重复✏️ 修正原笔记把 PPO 和 DPO 并列描述成都是策略梯度算法套用同一个 rollout 循环这里有一个需要修正的技术细节——DPO直接偏好优化和 PPO 的训练机制并不相同PPO 需要模型在线采样rollout生成回答再用奖励模型打分再做策略梯度更新这是一个完整的强化学习闭环DPO不需要在线采样也不需要单独训练奖励模型它是直接在一批已经收集好的偏好数据固定数据集上做优化本质上更接近一个改造过的监督学习损失函数数学上是从 RLHF 的目标函数推导简化而来跳过了显式的奖励建模和强化学习采样过程所以更准确的说法是PPO 是标准的在线强化学习方法DPO 是离线的、更轻量的替代方案两者都能实现对齐人类偏好的目标但训练机制和成本结构不同不应该被归为同一类循环逻辑。五、超参数与消融实验超参数的特点超参数学习率的设定方式如 warmup、衰减策略batch size训练轮次数据混合比例等是控制训练过程本身如何进行的设置不是通过梯度下降学出来的而是训练开始前人为设定好的。不同阶段的超参数设定会重新调整中训练阶段学习率通常比预训练更小同时需要设定课程学习的数据配比策略SFT 阶段学习率比预训练小得多数据量小、容易过拟合训练轮数需要精心控制防止模型死记硬背RL 阶段超参数更复杂除了学习率还包括 PPO 里的裁剪范围clip ratio、KL 散度惩罚系数防止模型偏离原始策略太远、每次采样多少个 rollout 等消融实验超参数的调整经常需要通过多轮次的小规模消融实验来确定。例如固定模型架构和训练步数只改变中训练数据里推导过程数据的占比比如 10%、20%、30%观察模型在数学/Agent 任务上的表现差异从而判断这个占比该设多少。消融实验的本质通过控制变量排除混杂因素建立因果关系的科学方法。六、如何判断模型能力是否真正提升模型训练过程中仅凭训练 loss 下降不足以判断能力提升需要多层验证验证集 / 留出集held-out set表现判断 loss 是否只是在训练数据上过拟合**下游任务 Benchmark 评测MATH、GSM8K、HumanEval、HLE 等**判断实际任务能力警惕数据污染训练数据是否意外混入了 benchmark 题目或相似题目导致评测虚高Bad Case 分析具体去看之前答错、现在答对的样本判断是否真正学会了正确的推理逻辑而不是蒙对或背下了相似题目分布外OOD泛化测试用和训练数据分布明显不同的新任务测试判断是学会了还是记住了评测系统需要贯穿在每一个训练阶段里而不是只在训练结束后跑一次。七、模型训练全流程总结八步版确定架构Transformer 变体、Dense/MoE、Tokenizer、上下文长度设计数据准备预训练/中训练/SFT/偏好数据/RL 任务库——注意 RL 阶段是任务不是标注数据预训练前向 → 交叉熵损失 → 反向传播 → 收敛监督学习范式中训练同样是监督学习范式但数据分布按课程学习逐步调整SFT同样的监督学习循环数据换成指令-回答对奖励建模用偏好数据训练 RM损失函数是排序损失而非交叉熵RL模型生成 → RM/规则打分 → 策略梯度更新和 1-6 的循环逻辑不同PPO 与 DPO 机制也不同见上文修正全程需要评测体系监控防止loss 下降但能力未提升或过拟合评测集在模型训练完成后进入应用阶段。由于训练阶段在输入来源、学习方式、目标机制上的差异导致了应用阶段 LLM/Agent 能力也表现出独特性。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】