在上一节末尾我们看到在 LLM 训练中损失曲线的数值变化已经不再是 LLM 质量的有效信号。这意味着评估 AI 的训练成效不能只看训练损失的下降曲线而要系统地考察多条曲线、不同数据集上的指标以及面向任务的评估。这一节要展开的就是这套诊断体系。接下来我们将继续沿着 “数学基础 → 典型应用 → 暴露的边界” 的论述方式展开先用训练集/验证集/测试集的隔离原则与 K 折/时序切分给出评估的工程原则再用曲线分析、LLM 评测方法与可解释性方法展示典型诊断手段最后落到 Goodhart 律等绕不开的边界。诊断的数学基础评估的工程原则之前介绍的损失曲线所诊断的问题是“LLM 在拟合数据这件事上做得怎么样”而对于 LLM 的实际可用性我们则需要另外建立一套评估方法论来解决这是在 LLM 的 训练阶段 和 上线阶段 之间必须建立的桥梁。对 LLM 进行评估的第一条原则是训练集、验证集、测试集要执行严格隔离。 因为这三者的功能完全不同训练集Train Set用于更新 LLM 的参数θ。验证集Validation Set, Dev Set用于调超参数学习率、正则化系数、模型结构选择。可以反复使用来选最优超参数。测试集Test Set用于评估 LLM 最终的真实泛化能力只能用一次。换言之任何根据测试集反馈调整模型的举动都让测试集退化为验证集从而失去对真实泛化能力的估计。违反这条原则的最常见方式是 “测试集泄漏”在测试集上调过超参数、在测试集上选了 epoch 数、或在测试集上做了模型选择。这等价于把测试集当作验证集使用导致报告指标虚高。LLM 评估中的 “数据污染” 现象可以视为测试集泄漏在大规模语料下的变种。接下来如果遇到数据稀缺的场景我们的典型应对策略是 K 折交叉验证。这种方法会把数据均分成 K 份轮流把 1 份当验证集其余 K-1 份当训练集重复 K 次最终用 K 次验证结果的均值评估模型。当训练数据在万级以下时K 折往往能比单一 train/val 划分给出更稳定的指标。深度学习时代 K 折变得不那么主流计算成本太高但在医疗、金融等小数据场景仍是标准做法。最后与时间序列相关的数据集需要进行特殊处理。 金融、IoT、日志等场景下数据有严格的时间依赖随机划分会把 “未来” 泄漏到 “过去”模型会学到用未来预测当前的作弊模式。TimeSeriesSplit 的解决方式是按时间顺序切分训练集用[0,t1]验证集用[t1,t2]下一折训练集扩展为[0,t2]验证集用[t2,t3]依此类推。每折的验证集只取当前时间窗口之后的紧邻一段且各折验证集之间互不重叠严格保证训练时刻早于验证时刻。这套评估方法论面向的是传统机器学习的中小数据场景。LLM 时代由于数据集规模膨胀到亿级单一划分加 K 折变得不必要但 “训练/验证/测试隔离” 的第一原则仍然成立甚至变得更难保证因为预训练数据是互联网文本测试集的内容很可能已经以某种形式混入预训练语料。典型应用训练曲线分析、LLM 评测与可解释性方法训练阶段的曲线诊断主要回答三类问题模型是否在拟合训练数据模型是否在过拟合训练是否已经收敛。围绕这三类问题工程上有四个最常用的曲线维度。训练损失曲线刻画 LLM 对训练数据的拟合进度。典型形态是单调下降到接近某个值后趋于平稳。但具体形态会因任务、模型、数据规模差异巨大小模型在小数据集上常出现陡降后平稳大模型在大规模预训练上常呈现线性下降既不饱和也不真正稳定损失沿训练步数持续线性下降这看似是没收敛其实是模型容量还远未饱和。验证损失曲线与训练损失曲线对比使用。这是诊断是否过拟合的核心证据。理想情形是两条曲线一起下降并同步平稳但若训练损失持续下降而验证损失先稳后升剪刀差出现便是过拟合的典型信号。训练准确率 vs 验证准确率同样适用于分类任务本质上是验证损失曲线的离散版本。学习率曲线通常不是诊断对象而是治疗手段。日志里跟踪学习率是为了把模型行为的异常归因到学习率的变化上例如突然的损失尖峰可能正好对应学习率上升Cosine 调度末端的损失反弹可能对应学习率归零。梯度/权重统计是更深一层的诊断包含梯度范数、权重范数、激活分布等。这些曲线在常规训练中不画但在排查训练不收敛时启用梯度范数趋向 0 提示梯度消失权重范数爆炸提示权重在失控增长。把这几条曲线放在一起看常见的诊断模式有四种健康收敛训练损失与验证损失同步下降、同步平稳差距小。这是理想状态。欠拟合训练损失与验证损失都高位平稳差距小。模型容量不够或训练时间不足。过拟合训练损失持续下降验证损失先稳后升差距扩大。模型容量过大或训练数据不足详见本文稍后在 “调优策略” 这一节中与正则化与数据增强相关的讨论。训练不稳定训练损失与验证损失都剧烈震荡没有平稳趋势。学习率过大、批量过小、数据质量差都可能引发。工程师面对这种模式第一反应不是换模型而是先检查学习率、数据 shuffle、损失是否出现 NaN。这四种形态是连续谱上的离散标签。实际项目中大量情况是介于过拟合与欠拟合之间这时调优决策取决于 “训练损失是否还有下降空间”若还有下降空间就加量训练若已饱和则需要更大的模型或更好的数据。诊断的本质是把直觉决策系统化避免工程师在训练-验证之间的剪刀差里反复横跳。评估 LLM 与评估传统模型有根本差异传统模型的评估目标是分类/回归的数值指标LLM 的评估目标是开放式生成的语言质量。前者可对比 ground truth 自动计算后者要么依赖人工判断要么借助评估代理。LLM 评测有以下三个层次第一层传统指标仍有意义但场景受限。 分类与回归指标Accuracy、Precision、Recall、F1、AUC、MSE、MAE、R2、MAPE在 LLM 评测中依然有用但只适用于封闭选项任务例如多选题、判断题、定向信息抽取。例如 MMLU 是多选题用 Accuracy 衡量GSM8K 是数学应用题用答案准确率衡量。序列任务的特殊指标 则专门服务于生成文本与参考答案的比较BLEUBilingual Evaluation Understudy用 n-gram 重叠率衡量生成文本与参考答案的相似度常用于机器翻译。其数学形式为BLEUBP⋅exp(N∑n1wnlogpn)其中pn是生成文本与参考答案之间 n-gram 的 修正精确率modified n-gram precision即参考答案中的每个 n-gram 最多被匹配一次避免重复词刷分wn通常取1/N默认N4BP是短句惩罚因子Brevity Penalty避免生成过短的翻译骗得高分。BLEU 的工程局限是只算精确率不看召回率且对同义改写不敏感。ROUGERecall-Oriented Understudy for Gisting Evaluation侧重召回率的 n-gram 重叠率常用于文本摘要。Perplexity困惑度语言模型在给定文本上的惊讶程度。对于长度为N的 token 序列x1,x2,…,xN其数学定义为PPLexp(−1N∑Ni1logpθ(xi∣xi))其中pθ(xi∣xi)是模型在已知前文xi条件下对当前 token 的预测概率。Perplexity 越低代表模型对文本越不 “惊讶”。注意 Perplexity 工程上常用 测试集/验证集 计算用来衡量模型对未见文本的概率建模能力即泛化水平不是直接的下游任务表现这一点在 LLM 评测中常被误用。典型的误用模式有两种一是把 PPL 当作 “综合语言建模能力” 的全局排序指标但同一模型在不同领域代码、法律、对话上的 PPL 差异巨大不能跨领域聚合二是把训练集与测试集 PPL 的差值generalization gap当作泛化能力的单一代理指标而忽略了训练集 PPL 本身随训练步数变化的不平稳性。第二层LLM 特有基准。 开放领域 LLM 评测无法靠分类准确率解决于是出现了一组针对特定能力的基准数据集MMLUMassive Multitask Language Understanding大规模多任务语言理解涵盖 57 个学科的选择题测试世界知识与推理。网上常见的关于 GPT-4、Claude 等模型的综合能力分数主要来源于此。HumanEval164 个编程问题测试代码生成能力常用 passk 指标前 k 个采样中至少有一个通过的比率。TruthfulQA测试模型在容易引发 “误解” 的问题上是否能给出真相评估事实性与抗误导的能力。GSM8K8500 个小学数学应用题测试多步算术推理。这些基准的核心设计理念是多维度采样一个基准只测一种能力多个基准组合才能勾勒模型的全貌。这也是避免单一基准过度优化原则的根据在 MMLU 上刷满分的模型未必在 HumanEval 上有同样的相对优势。第三层自动化评测与人类评测的权衡。 当任务从选择题转向开放式问答前两层指标就不够用了生成文本的质量涉及逻辑性、连贯性、创造性、安全性这些都是参考答案难以穷举的维度。LLM 评测由此进入谁来判断好坏的方法论选择自动化评测如 BLEU、Exact Match、规则匹配可复现、成本低、易规模化。但难以捕捉细微质量且容易受数据污染影响模型在训练数据里见过测试题。人类评测高质量、能捕捉细微差异是开放式生成的金标准。但成本高、难以规模化且标注者一致性难以保证同一个回答三个标注员可能给出分歧很大的评分这部分反映了质量本身是模糊的而不只是标注质量问题。LLM-as-a-Judge用 LLM 评测 LLM如 GPT-4 评判其他模型。处于自动化与人类评测之间的折中点成本可控可规模化但继承了 LLM 的偏差如位置偏差、长度偏差、自我偏好且评测分数对 judge prompt 的措辞高度敏感同样的评判模型仅改一句 prompt 的表述分数可能波动数个百分点。评测协议设计根据任务选协议。Pairwise两两比较让评估者比较两个模型的输出哪个更好适合 Arena 类平台。Single-Eval绝对评分让评估者对单一输出打分适合标准化基准。Likert Scale李克特量表让评估者在 1-7 的量表上打分适合人类标注。数据污染问题训练数据可能包含评测集导致分数虚高。这是 LLM 评测的元层难题测试集的内容在预训练语料里以某种形式出现过评测就不再反映真实泛化能力。常见的应对是在评测集上做去污染处理n-gram 重叠检测、泄漏测试集重制但没有根治方案。需要指出的是上述三个层次并非线性替代关系而是并存于实际评测流程。Llama-3、GPT-4 等技术报告里会同时报告 MMLU/GSM8K 自动化分数、人类评测 Elo 分数、以及 LLM-as-a-Judge 的细分维度评分。多种评测手段的多角度交叉验证是当前 LLM 评测的工程妥协。可解释性方法为诊断提供了另一类视角它不直接给评估分数而是试图回答模型为什么这样决策。这一类方法在 LLM 时代变得越来越重要因为传统的准确率指标难以捕捉生成质量的细微差异。特征可视化Feature Visualization通过观察中间层的激活回答网络学到了什么。早期层通常对应边缘、纹理等低级特征后期层对应更抽象的语义模式。这是 CNN 时代最经典的可解释性手段在 LLM 时代也有对应Transformer 某一层的隐藏表示聚类能揭示模型内部概念的结构。注意力可视化Attention Visualization是 Transformer 时代的对应方法。把注意力权重热力图画出来观察模型在生成这个词时关注了输入的哪些位置。但要谨慎注意力的强度不等于因果重要性一个 token 注意力权重大不代表去掉它就一定影响输出反之亦然。这种注意力可解释性的错觉在 LLM 解释研究里被反复指出Jain Wallace, 2019。SHAP / LIME 等后验方法是模型无关的归因方法SHAPShapley Additive Explanations基于博弈论中的 Shapley 值把每个特征的贡献拆解到公平分配。理论上严谨但计算开销大。LIMELocal Interpretable Model-agnostic Explanations在单个预测的局部拟合一个简单线性模型作为解释。计算快但稳定性受采样影响。这两类方法适用于表格数据为主的传统机器学习场景在图像、文本任务上的可解释性效用递减。关键边界解释 ≠ 理解。 SHAP 能告诉你这个特征贡献了 30%“但不能告诉你为什么这个特征在因果上重要”。注意力可视化能告诉你模型看了这里但不能告诉你模型是否真的用到了这个信息。可解释性方法给出的是模型行为的描述不是模型行为的因果解释。把它们当作理解模型的工具会导致过度信任尤其是当解释方法本身有偏差时如 SHAP 在特征相关时分配不合理注意力可视化在多头 Transformer 上不一致。对模型行为的真正理解仍然来自对训练过程、损失设计、数据分布的系统性诊断可解释性方法只是辅助手段不能替代对模型机制的扎实理解。这一边界与前述评估方法的元层不可靠性一脉相承可解释性方法的元层不可靠正是评估方法元层不可靠的另一种体现。暴露的边界训练动力学看似中立曲线就是曲线评测就是评测。但这条诊断-评估链路也暴露三个工程边界。指标变成目标后就不再是好指标。 这是经济学里的 Goodhart 定律 在 LLM 评测中的直接投射当 MMLU 分数成为衡量模型能力的代理指标之后所有研究者都会围绕 MMLU 调优模型在该基准上的进步将不再反映真实能力的进步。极端情况下模型可能在基准上刷到 95%但在该基准测的能力之外严重失败。基准饱和现象第一阶段的笔记《[[AI 研究方法的演变]]》中 SuperGLUE 被刷满的案例正是这个机制的早期版本就是这条定律的工程后果。唯一缓解方式是持续更换基准但任何新基准最终都会遭遇同样的命运这是 Goodhart 定律本身的不可消除性这条定律没有工程上的根治方案。指标越复合越偏离真实目标。 LLM-as-a-Judge 等自动评估代理表面上自动化、可规模化但它们本身就是用 LLM 评判 LLM评判模型的偏差会沿着评估链路传递到评分结论上。位置偏差更喜欢先出现的回答、长度偏差更喜欢长回答、自我偏好更喜欢自己生成的文本都会让评估分数出现系统性偏移。当多个偏差叠加时自动化评测反而可能比人类评测更不准确。这条边界暴露的是评估方法的元层不可靠性评估这件事本身需要被评估。答对了不等于答对了真问题。 一个模型在 MMLU 上拿高分、在 HumanEval 上 pass1 拿高分、在 TruthfulQA 上拿高分这是它在这些评测题集上的表现。但用户在意的常常是我具体那个问题能否被回答好这不在任何聚合指标里。聚合指标让个体经验隐形这是评测方法本身的几何性质造成的边界。当一个模型的综合能力分上升 5%、但某个用户的关键任务处理能力下降 30%指标总体上说它 “更好了”但用户的体验说它 “更差了”。真实能力的分布是异质的而聚合指标把它压成一个数字这条边界没有工程上的解决方案只能靠 “明确能力评估的样本范围” 来弥补。从几何角度看这种异质性正是我们在 “神经网络通用函数逼近器” 一节中讨论的 Manifold Hypothesis流形假设 在评测侧的投影即便X的标称维度极高真实能力有意义的部分也只分布在某个低维流形上。聚合指标本质上是用一个单一数字去概括这个流形的全局性质必然会在流形的高曲率区域失效。调优策略当效果不理想时在前述训练动力学一节中我们看到过拟合与欠拟合是训练曲线上剪刀差或高台的不同形态。本节沿数学框架 → 典型应用 → 暴露的边界展开先用偏差-方差分解给出调优的理论坐标再沿数据、模型、训练三个层面展示工程上的调优手段最后落到收益递减、调优无法跨越目标缝隙、调优 vs 重设计等绕不开的边界。偏差 vs 方差调优的理论坐标偏差-方差分解Bias-Variance Decomposition为前述诊断中观察到的剪刀差或高台提供了统计框架。设真实函数为f∗观测到的标签为yf∗(x)ε其中ε是均值为 0、方差为σ2的噪声。模型在不同训练集上学到的参数θ会不同预测的期望Eθ[fθ(x)]与真值f∗(x)的偏离是偏差Bias反映模型系统性偏离真实关系的程度单个模型预测围绕期望的方差是方差Variance反映模型对训练数据波动的敏感程度。经典的分解E[(fθ(x)−y)2](Eθ[fθ(x)]−f∗(x))2Bias2Vθ[fθ(x)]Varianceσ2Irreducible Error其中左侧的期望同时对训练集的随机性决定θ和标签噪声ε决定y取。最后一项是数据本身的噪声不可消除。调优的核心工作是在偏差与方差之间走钢丝高偏差欠拟合模型容量不足以捕捉数据中的模式。表现为训练损失与验证损失都高差距小。解决方案增大模型容量、增加特征、延长训练时间。高方差过拟合模型对训练数据中的噪声学得太细。表现为训练损失低、验证损失高剪刀差大。解决方案增加数据、增强正则化、降低模型容量、早停。需要强调的是偏差与方差不是非此即彼的二元分类而是连续谱上的两端。现实中多数项目处于两边都有一点的状态训练损失不是特别低轻微高偏差验证损失比训练损失高一些轻微高方差。这时的调优决策取决于如果再加大模型容量验证损失会不会先降后升。学习曲线诊断法正是为此设计的把训练集大小作为横轴观察验证误差随数据量的变化若仍在快速下降说明加数据有效若已平稳加大数据无意义。典型应用数据、模型、训练三个层面的调优手段工程上把调优手段按作用层面分三类。数据层面。数据是上限模型是逼近上限的工具。这是一条工程上的强经验法则在大多数任务上调数据的收益大于调模型的收益。下面是数据层面最常用的几类调优。数据增强Data Augmentation通过在训练样本上施加保持语义不变的变换人工扩大数据规模图像随机裁剪、水平翻转、颜色抖动、Mixup两张图按比例线性混合等。文本同义词替换、回译中文翻英文再翻回中文、随机插入/删除/调换EDA等。序列时序数据的窗口滑动、时间扭曲、加噪声等。数据增强的关键是变换不破坏监督信号增强后的样本应仍对应同一个标签。错位的增强如把猫图增强后标签还是狗等于人为注入噪声会损害训练。数据清洗与去重是大规模预训练中被严重低估的环节。GPT-3、Llama 等技术报告都把清洗与去重列为训练流程的关键步骤不是为了数据干净好看而是因为重复样本会显著放大模型对某些模式的记忆权重导致下游生成内容变得机械化、丧失多样性。这是去重背后的工程动机。数据平衡与采样策略针对不平衡场景。直接重采样过采样少数类 / 欠采样多数类会让训练分布更接近工程目标分布但可能丢失多数类中的有用信息。更稳健的做法是保留原始分布但在损失函数层加权即损失函数一节中讨论过的 Focal Loss 或类别加权方案。合成数据Synthetic Data在高质量真实数据耗尽后成为重要补充Self-Play让模型与自身副本对弈或对话从交互中生成新训练数据。AlphaGo 的早期迭代就靠这条路。Self-Instruct让强模型生成指令-响应对作为弱模型的训练数据。Alpaca、Vicuna 等开源模型的训练数据多由 GPT-3.5/4 生成。合成数据的根本风险是模型坍缩Model Collapse当合成数据进入训练集再生出来的合成数据会强化上一代的偏差几代之后模式坍缩到一个退化分布。这个机制与训练-评测循环中的反馈环相似是 Goodhart 定律的另一个表现。模型层面。正则化Regularization通过在损失函数上加约束抑制模型对训练数据的过度拟合Lreg(θ)L(θ)λR(θ)其中R(θ)是正则化项λ控制强度。L1 正则化R(θ)∥θ∥1鼓励稀疏参数部分权重归零常用于特征选择。L2 正则化权重衰减R(θ)∥θ∥22鼓励权重均匀小避免任何单一权重过大。Dropout训练时随机将部分神经元输出置零迫使网络不依赖任何单一通路。推理时关闭所有神经元参与计算。BatchNorm批归一化, Batch Normalization对每层的激活做标准化减均值除标准差让损失曲面更平滑允许更大学习率。同时具有轻微正则化效果。注意 L2 正则化与 AdamW 中的权重衰减并不完全等价前者把衰减加到损失上、自适应学习率会干扰其强度后者直接把衰减作用在参数更新上详见优化过程一节的 AdamW 段落。当代 Transformer 训练普遍用 AdamW 而不是 L2 Adam原因正是这个差异。模型规模选择Chinchilla 与规模化定律Scaling Laws是 LLM 时代最重要的工程经验法则。早期研究者相信模型越大越好但 2022 年 DeepMind 的 Chinchilla 工作指出给定固定计算预算存在一个最优的模型规模与训练数据量配比经验上每个模型参数约对应 20 个训练 tokentokens-per-parameter ≈ 20:1。Chinchilla 工作重新训练了一个 70B 模型Chinchilla用 1.4 万亿 token发现它在相同算力下性能显著优于参数更大的 Gopher-280B这直接挑战了参数越大越好的工程直觉意味着很多大模型实际上欠训练于数据给同样多的算力更小但训练更充分的模型会更好。Scaling Laws规模化定律描述模型能力如何随参数、数据、计算量增长经验上服从幂律。这条发现改变了 LLM 训练的算力分配方式设计新模型时先用 Scaling Laws 估算这个规模的模型在合理数据量下能达到什么能力再决定是否值得投入。这一幂律关系在算力-性能平面上的形态如图 5 所示。需要指出的是20:1 比例是 Hoffmann 2022 在算力最优条件下得出的结论——固定算力下让模型规模与数据规模同步增长最优。但在推理成本主导的实际场景中业界普遍采用过度训练over-train策略Llama-2 7B 用了约 2T tokens约 286 tokens/paramLlama-3 8B 用了约 15.6T tokens约 1950 tokens/param用更大的数据量喂饱较小模型以降低推理成本。这意味着 20:1 的工程经验要在具体场景下重新校准。规模化定律模型能力随算力的幂律关系图 5 规模化定律模型能力随算力的幂律关系预训练 微调范式是 LLM 时代的主导流程。先在大规模通用数据上预训练一个基础模型再用特定任务的少量数据微调。这种范式把通用能力和任务专精分离开来基础模型承担数据密集的学习成本下游用户承担任务专精的少量成本。这是 LLM 能够被广泛部署的关键工程创新也是第四节《AI 研究方法的演变》中基础模型概念得以成立的具体技术基础。训练层面。学习率扫描是几乎所有训练项目的第一步。学习率对模型行为的影响是高度非线性的太大会震荡不收敛太小会卡在局部区域或训练过慢。经验做法是先跨数量级扫描例如{10−4,3×10−4,10−3,3×10−3}覆盖约 1.5 个数量级观察哪个区间的损失下降最稳再在该区间内精调。判定标准是观察训练初几百步的损失曲线若损失在 1k 步内稳定下降到 0.5 倍初始值该学习率大概率可用若损失在前 200 步就出现尖峰或发散为 NaN则需要降一个数量级。Llama-3 的技术报告公开了具体的扫描过程峰值学习率为3×10−4GPT-4 未完整公开训练细节外界依据其训练表现与社区估算推断预训练阶段峰值学习率大致在6×10−5量级具体数值并未由 OpenAI 官方确认。Batch size 影响两件事梯度估计的噪声与训练吞吐量。小批量梯度噪声大但更新频繁大批量梯度稳定但每步计算开销大。梯度累积Gradient Accumulation 是一种折中把多个小批量累积成一次参数更新等价于虚拟大批量但内存占用与小批量相同。LLM 训练普遍使用大批量 梯度累积因为大批量在分布式训练中能更好地利用硬件。早停Early Stopping是最简单的正则化手段之一在验证损失连续若干轮不再下降时停止训练避免模型在训练后期被噪声牵着走。早停与权重衰减、Dropout 等有功能重叠它通过限制训练步数间接限制模型复杂度。混合精度训练AMP, Automatic Mixed Precision是性能调优而非效果调优。把前向/反向传播中部分计算降到 FP16/BF16 精度权重保持 FP32能在几乎不损失模型质量的前提下显著加速训练、节省显存。其核心技巧是 loss scaling在前向计算得到损失L后乘以一个缩放因子S典型为216量级使 FP16 下的梯度不致下溢LscaledS⋅L,∇θFP16∇θraw⋅S反向传播后、参数更新前再把梯度除以S还原为 FP32 的∇θraw。BF16 因其动态范围与 FP32 一致通常无需 loss scaling。PyTorch、TensorFlow 都内置了 AMP 接口。当代大模型训练几乎全部启用 AMP。暴露的边界调优策略是工程上最有实操感的部分但它也暴露三个工程上绕不开的边界。调优收益递减。 这是经典的收益递减规律在机器学习中的体现在一个已有充分调优的项目上再花一倍时间调参得到的提升通常远小于初始调优的提升。调优曲线在对数坐标下通常是一条凸函数初期效果显著后期趋于平台。一个直观的数量级感受是在 ImageNet 分类项目上从基线 ResNet-50top-1 ~76%出发前 20% 的调优时间学习率、warmup、数据增强通常能带来 3-5 个百分点的提升中间的 30% 时间能再榨出 1-2 个百分点而最后 50% 的调优时间往往只能拿到零点几个百分点的边际改善这就是对数凸曲线前陡后平的形态。判断调优是否值得继续的标准不是还能不能再降一点而是继续调优的预期收益是否覆盖机会成本这个判断本质上是产品决策不是技术决策。工程师容易陷入再调一个 epoch 试试的局部最优但项目视角下应该问这个时间花在新模型还是新数据上。调优无法跨越目标定义本身的缝隙。 在 LLM 时代“调优到指标 95% 之后剩下的 5%“往往是最难的部分但这 5% 通常不是调优能解决的。当损失曲线已经平稳、模型容量已经饱和、数据已经扩无可扩剩下的差距往往是任务定义本身的问题。例如要求模型生成既安全又有用的回复但这两个目标在某些 prompt 上存在矛盾要求模型读懂上下文”但上下文信息本身有歧义。这些不是模型不够好”而是目标本身没有 ground truth。这一边界暴露的不是模型能力不足而是目标的形式化不完备。这一论断呼应了损失函数一节暴露的边界中错误损失 → 错误目标的判断当损失函数不能完全捕捉任务目标时调优无法跨越这个缝隙。这正是接下来能力边界与判断力那一节要展开的核心议题何时停止调优回到目标定义本身去诊断。何时停止调优 vs 何时重新设计。 调优与重新设计是两条不同的成本曲线调优是沿已有模型架构的局部搜索重新设计是重新选择模型类、数据流、训练范式。前者单位成本低但收益有上限后者单位成本高但有可能跳出当前局部最优。判断何时切换的关键证据是诊断曲线是否指向模型类本身的局限。若欠拟合已严重到增加数据无济于事、增加容量到 GPU 显存不够那一定是模型类选错了若过拟合已严重到数据增强和正则化都抑制不住那很可能是数据本身的问题或任务定义的问题。重新设计的触发条件不是调不动了而是调不动的根因已经诊断清楚盲目的重新设计只是把同样的问题换个形式重新遇到。能力边界与判断力模型能力不足 vs 目标定义不合理在前五节中我们依次走完了函数逼近 → 损失 → 优化 → 诊断 → 调优的完整链路。这一节要讨论一个比调优更上游的问题当模型表现不理想时到底是模型不行还是目标本身就不合理这条判断决定了工程师是把剩余时间花在调参上还是应该回到第一步重新定义问题。诊断清单给出几条可操作的判断标准换一个规模明显更大的模型效果是否显著提升 若是 → 当前瓶颈是模型容量若否 → 目标定义可能就有问题。换一个完全不同的模型类如从 ResNet 换成 ViT效果是否显著提升 若是 → 当前模型架构不适合任务若否 → 任务本身的难度可能被低估。人类专家能否完成这个任务 若不能 → 任务定义不合理若能且专家间一致性高 → 模型还有提升空间若能但专家间一致性低 → 任务的 ground truth 本身有歧义调优无法消除这个不确定性。数据中的标注是否一致 让两个标注员独立标同一批样本计算 Cohen’s Kappa 等一致性指标κpo−pe1−pe其中po是观察一致率pe是随机一致率由各类别边际概率算出。经验阈值κ0.4说明标注一致性差目标定义不清0.4≤κ0.6一致性中等κ≥0.6一致性较好κ≥0.8高度一致。低一致性直接说明目标在数据层面就没有清晰定义。重新设计 vs 继续优化的成本对比是另一条工程取舍线继续优化单位成本低用现有架构再调几个 epoch但有上限。重新设计单位成本高重写数据流、重选模型类、可能重训但有机会跳出当前局部最优。经验判断如果团队已经在同一模型类上反复调优超过 2 周、且诊断清单指向目标定义问题重新设计的预期收益往往高于继续调优。盲目继续调优只会把同样的根因换个形式重新遇到。基线与 SOTA理性预期的两个坐标LLM 时代模型的惊艳能力和明显失败并存。工程师面对一个项目时建立合理的预期比追求极致指标更关键。基线Baseline是预期的起点。任何模型表现必须先与最简单的基线对比例如随机预测、规则启发式、上一版本的简单模型。若新模型的指标与基线只差 2%那这 2% 的提升可能不值得上线的复杂度成本若差距是 50%则值得深入。期望值 vs 最优值的差距是另一条分析维度。SOTAState-of-the-Art, 当前最优 是研究领域的指标反映在已知任务上达到的最高水平。但项目落地时工程师关心的不是接近 SOTA而是达到用户可接受的水平这两者之间的差距可能非常大。例如SOTA 在 MMLU 上是 90%但项目只需模型达到 70% 就能解决用户的实际问题。SOTA 在 GSM8K 上是 95%但项目关心的是是否能正确回答客户的常见问题需要的能力远低于 SOTA 覆盖的范围。SOTA 参考价值的有限性有三层第一SOTA 通常是在精心准备的数据集上达到的迁移到生产数据未必能复现第二SOTA 反映的是群体最优不是个体最优某个用户的关键任务可能严重失败第三SOTA 追逐本身会诱导过度优化参见训练动力学一节中 Goodhart 定律的边界。理性的工程判断不应该是我的模型离 SOTA 还差多少而是我的模型相对基线提升了多少相对用户可接受水平还差多少。暴露的边界能力边界与判断力是整篇笔记最接近工程哲学的章节。它讨论的不是技术机制而是面对技术时的判断框架。这一节暴露的三个边界比前几节更接近决策者视角。能力判断依赖于评估样本的分布。 任何模型能做什么的判断都基于样本你测试了哪些 prompt、哪些任务、哪些用户场景。一旦样本改变结论也会变。MMLU 上拿 90% 的模型在长文档推理、代码调试、数学证明上可能表现迥异。把聚合指标当作模型能力的全局估计是工程师最容易犯的过度抽象错误。真实的模型能力是一个关于样本空间的分布不是单一数字。这条边界没有工程上的解决方案只能靠明确能力评估的样本范围来管理。基线的相对性陷阱。 “相对基线提升 30%“听起来令人印象深刻但若基线本身只有 20%那 30% 提升后的 26% 仍然低于用户可接受的水平。基线的绝对值与相对提升必须同时报告。LLM 时代尤其要警惕用 Llama-3-8B强基线作为对比时再大的提升幅度也意义有限用 GPT-4 作为对比时即使有提升也接近技术天花板。判断模型价值的不是提升了多少”而是绝对水平是否够用”。