课程前言梯度下降的终极目标找到损失函数最小值也就是数学上的极小值点。单调性一阶导数正负决定增减对应参数调整后损失上升/下降驻点定义f’(x)0 的点梯度等于0参数停止更新极值判定两套方法一阶导数变号法穿过驻点导数由负变正极小值由正变负极大值二阶导数判别法f’(x_0)0f’‘(x_0)0 极小值f’(x_0)0 极大值AI对应关系极小值模型最优损失极大值损失峰值驻点梯度归零、训练停滞。一、核心判定规则AI通俗解读f’(x)0函数单调递增 → 参数增大损失变大需要反向更新权重f’(x)0函数单调递减 → 参数增大损失变小沿正方向更新权重f’(x_0)0 驻点梯度为0参数不再变化f’(x_0)0曲线下凸驻点为极小值理想训练终点f’(x_0)0曲线上凸驻点为极大值损失最高点需要避开二、10道极值计算题完整解题步骤AI场景解读题1f(x)x^2-4x3求单调区间、驻点、极值解一阶导 f’(x)2x-4令 f’(x)0驻点 x2二阶导 f’(x)20x2 处取极小值极小值 f(2)4-83-1单调递减区间 (-\infty,2)单调递增区间 (2,\infty)AI解读标准MSE二次损失全局唯一极小值无局部最优梯度下降无论初始权重在哪最终都会收敛到最优值。题2f(x)-x^26x求极值与单调区间解f’(x)-2x6驻点 x3f’(x)-20x3 取极大值 f(3)9递增(-\infty,3)递减(3,\infty)AI解读负二次损失曲线仅有极大值不存在最优收敛点模型无法完成拟合设计损失函数时要规避此类形式。题3f(x)x^3-3x驻点极值判定解f’(x)3x^2-33(x-1)(x1)驻点 x1、x-1f’‘(x)6xx-1f’‘-60极大值 f(-1)2x1f’60极小值 f(1)-2AI解读三次损失函数同时存在极大、极小值训练容易卡在局部极小是大模型陷入局部最优的典型数学模型。题4f(x)x4-2x2求全部极值点解f’(x)4x3-4x4x(x2-1)驻点 x-1、0、1f’‘(x)12x^2-4x\pm1f’‘80极小值 f(\pm1)-1x0f’-40极大值 f(0)0AI解读多极小值损失曲面多个参数点都能得到较低损失对应大模型存在多组等效最优权重。题5f(x)e^{x}-x单调区间与极值解f’(x)e^x-1驻点 x0f’(x)e^x0x0 极小值 f(0)1x0 递减x0 递增AI解读指数激活搭配线性正则损失全局凸函数训练稳定收敛常用于分类任务辅助损失。题6f(x)x\dfrac{1}{x}\quad(x0)极值求解解f’(x)1-\dfrac{1}{x^2}驻点 x1f’(x)\dfrac{2}{x^3}0极小值 f(1)2AI解读反比例正则复合损失存在唯一极小值L2正则化底层曲线形态。题7f(x)3x-x^3一阶导数变号法判断极值解f’(x)3-3x^23(1-x)(1x)驻点 x-1、x1x-1f’(x)0-1x1f’(x)0x1f’(x)0x-1 极小值x1 极大值AI解读损失曲线凹凸交替训练过程损失先降后升学习率过大时会震荡跨越最优值。题8f(x)(x-2)^21判定极值解f’(x)2(x-2)驻点 x2f’(x)20极小值 f(2)1AI解读平移后的标准二次损失深度学习最基础回归损失模板。题9f(x)\sin x,\quad x\in[0,2\pi]求区间内极值解f’(x)\cos x驻点 x\dfrac{\pi}{2},\dfrac{3\pi}{2}f’‘(x)-\sin xx\dfrac{\pi}{2},f’‘0 极大值 1x\dfrac{3\pi}{2},f’0 极小值 -1AI解读周期型损失函数存在循环交替的极大极小时序大模型极易循环震荡、无法稳定收敛。题10 综合压轴f(x)x2e{-x}求驻点、判定极大/极小值解f’(x)2xe{-x}-x2e{-x}x(2-x)e{-x}驻点 x0、x2f’‘(x)(x2-4x2)e{-x}x0f’‘20极小值 f(0)0x2f’-2e^{-2}0极大值 f(2)4e^{-2}AI解读权重衰减指数损失同时存在局部极小、极大训练初期快速下降靠近最优值后容易震荡是大模型调学习率的典型场景。三、课程核心总结衔接第32课凹凸性与拐点单调性指导参数更新方向导数正负决定权重增减驻点是梯度归零位置二阶导数直接区分极小最优、极大损失峰值多元函数梯度、海塞矩阵极值判别全部建立在一元极值判定逻辑之上大模型训练痛点“局部最优”本质就是损失函数存在多个极小值点。你在训练模型时有没有遇到卡在局部极小、损失无法继续下降的情况你会怎么调整学习率跳出局部最优欢迎评论区交流