影响函数 Influence Functions用一次微分近似 Leave-One-Out回答一个朴素却强大的问题—— “删掉这个训练样本模型会变好还是变差” 在数据清洗里它是定位错标 / 在数据清洗里它是定位错标 / 有害样本最优雅、最有理论支撑的工具之一。1. 问题背景从留一法演化过程模型的不确定性本质来自数据。真实数据集里总混杂着错标、重复、离群与有害样本——它们悄悄拉低泛化。一个自然的诊断思路是留一法Leave-One-Out, LOO留一法删掉样本z后测试损失的变化根据损失变化情况找出错标数据与有害数据问题在于每删一个样本就要重新完整训练一次。N 个样本 ⇒ N 次训练。在百万级数据集、亿级参数模型上这完全不可行。删除样本本质是对损失做一次微小的扰动。既然模型已经在最优点 θ∗ 附近我们不必真的重训——用泰勒展开一阶 二阶就能线性近似这次扰动的后果。这就是影响函数的全部出发点。代价从O(N × 训练成本)直接降到O(1 × 训练成本 若干次反向传播)且无需改动模型结构。2. 数学建模1经验风险与扰动建模设训练集 {z1, …, zn}模型通过经验风险最小化得到最优参数为了度量“样本 z 有多重要”构造一个上权重扰动把 z 的损失权重抬高 ε注意删除 z等价于 ε −1/n 的上权重权重从 1/n 变成 02参数如何移动海森矩阵登场对 θ̂(ε) 的一阶最优条件求导得到参数随 ε 的变化方向于是删掉 z 后参数的近似偏移把上面的参数偏移代入测试损失就得到影响函数衡量训练样本 z 对测试样本 ztest 损失的影响符号怎么读ℐ 是“上权重 z 一点点测试损失变化多少”的瞬时变化率ℐ 0上权重 z 会让测试损失上升⇒ z 是 有害样本删掉它测试损失下降模型变好。ℐ 0上权重 z 会让测试损失下降⇒ z 是 有益样本值得保留甚至增权。令 ztest z 自身得到自影响ℐ(z, z) − ∇θ L(z, θ∗)⊤ H−1θ∗ ∇θ L(z, θ∗) ≤ 0自影响样本 z 对自身损失的影响查询点 训练点本身。与上一式完全相同z 自身的梯度、逆海森、再与自身梯度内积。因 H−1 半正定自影响恒非正其绝对值越大模型为拟合该样本付出的代价越大越疑似错标/异常。在最优解附近 H−1 半正定故自影响恒非正。其绝对值−ℐ(z, z)越大意味着模型为了“记住 / 拟合”这个样本付出了越大的参数代价——这正是错标、噪声、难且异常样本的典型特征。错标样本的标签与真实特征规律冲突导致① 损失大 ⇒ 梯度 ∇L(z) 模长大② 梯度方向与多数样本偏离 ⇒ 在 H−1 度量下被放大。两个因素叠加使其自影响显著高于正常样本。排序后 top-k 命中率远超随机猜测。深度网络参数量动辄上千万海森矩阵 H ∈ ℝp×p 既无法存储p2 项也无法显式求逆。但影响公式里需要的从来不是 H−1 本身而是它作用在一个向量上的结果H−1v。3. 数据清洗1数据清洗判别标准与流程判别标准算法数据清理常用流程2深度学习常依靠loss值与置信度寻找简单困难样本与这种方法对比loss 高 ≠ 错标难样本hard examplesloss 也高但它们是模型该学好的宝贵信号不该删。置信度低 ≠ 错标边界附近样本天然不确定。影响函数同时编码了“难”与“对模型方向有干扰”——它问的不是“这个样本学得好不好”而是“这个样本把模型带偏了多少”。这是 loss 类指标无法提供的二阶视角。loss 衡量拟合难度影响函数衡量因果方向。清洗的目标是后者——去掉“带偏模型”的样本而不是去掉“难学”的样本。3局限性二阶近似的假设要求模型接近收敛且损失在 θ* 附近近似凸/线性。在非凸深度网络尤其未充分训练时近似质量会下降Koh Liang 原文也承认部分实验中估计不稳。数值稳定性海森矩阵病态、梯度爆炸/消失都会污染 H−1v。常用dampingH λI稳定。计算成本每个参考点需一次 CG多次 HVP。大数据集上需子采样参考集 / 并行 HVP否则仍重。解释 ≠ 因果影响值是“线性近似下的局部相关性”。当扰动较大如一次性删除大量样本时线性外推会失真。对模型架构敏感BN、dropout 等随机/批相关层会破坏“单个样本梯度”的干净定义需特殊处理。3演化方法DataInf(Kwon Wu 2023)对逆海森做低秩近似适配大模型 / LLM 微调显存友好TRAK(Park et al. 2023)随机投影 多模型特征可扩展到大型数据集工程化好在 LLM / 对齐时代该方法被用于挑选最有价值的微调数据、定位导致幻觉的有害样本、以及追溯模型输出到训练语料data attribution。