1. 优化器的前世今生为什么我们需要更好的梯度下降第一次接触深度学习时你可能和我一样被各种优化器搞得晕头转向。记得2013年我刚入行时大家都在用最基础的SGD随机梯度下降调参调得怀疑人生。后来随着研究的深入才明白每种优化器的出现都是为了解决前一代的特定问题。想象你正在山区徒步SGD就像蒙着眼睛走路只能靠脚下的坡度判断方向。Momentum相当于给你加了个惯性让你不会因为突然的小坡改变方向。而Adam这样的现代优化器则像是配备了GPS和地形图的智能导航系统。优化器的本质是解决两个核心问题方向和步长。方向决定了参数往哪更新步长决定了每次更新多少。早期的SGD对这两个问题处理得很粗糙后续的改进都是围绕这两个维度展开的。在CV计算机视觉任务中我们常处理高维稀疏梯度NLP自然语言处理任务则面临梯度爆炸/消失问题。不同场景需要不同的优化策略这也是为什么我们需要了解各种优化器的特性。2. 从SGD到Momentum给优化加上惯性2.1 最基础的SGD与其局限性SGD的更新公式简单得令人发指w w - learning_rate * gradient我在早期项目里经常遇到这些问题在平坦区域进展缓慢学习率太小在陡峭区域又容易震荡学习率太大。更糟的是遇到鞍点时所有维度的梯度都接近零优化完全停滞。批量变体的选择也很关键BGD批量梯度下降计算整个数据集的梯度稳定但慢SGD随机梯度下降每次一个样本快但震荡大MBGD小批量梯度下降折中方案实际最常用实测发现当batch size设为32-256时MBGD在大多数情况下表现最佳。但即使这样SGD在复杂非凸函数上还是容易陷入局部最优。2.2 Momentum的物理直觉Momentum的灵感来自物理学中的动量概念velocity momentum * velocity (1 - momentum) * gradient w w - learning_rate * velocity这个简单的改动带来了两个神奇效果在梯度方向一致的维度上加速动量累积在梯度方向变化的维度上减速动量抵消我在训练ResNet时做过对比相同条件下Momentum SGD的收敛速度比普通SGD快2-3倍。特别是在处理病态条件问题时某些维度梯度远大于其他维度Momentum的表现尤其出色。有个实用技巧初始阶段用0.5的动量系数后期逐步增加到0.9。这样早期可以快速探索后期稳定收敛。3. 自适应学习率时代Adagrad与RMSProp3.1 Adagrad的参数专属学习率Adagrad的核心思想很直观给频繁更新的参数小学习率给罕见更新的参数大学习率。其更新规则cache gradient**2 w - learning_rate * gradient / (np.sqrt(cache) eps)这个算法在稀疏数据上表现惊艳。我曾在推荐系统项目中使用它相比SGD获得了15%的精度提升。因为推荐系统的特征极度稀疏比如用户IDAdagrad能自动给稀疏特征分配更大的更新幅度。但Adagrad有个致命缺陷随着cache不断累积学习率会单调递减到接近零。这导致后期训练几乎停滞特别是在长期训练的大型模型上。3.2 RMSProp的滑动平均改进RMSProp通过引入衰减系数解决了Adagrad的学习率消失问题cache decay_rate * cache (1 - decay_rate) * gradient**2 w - learning_rate * gradient / (np.sqrt(cache) eps)这个改进看似微小实际效果显著。我在LSTM语言模型上的实验显示RMSProp的训练曲线更加平滑最终困惑度比Adagrad低10%左右。调参时有个经验法则decay_rate通常设为0.9-0.99。对于非常嘈杂的任务如强化学习可以用更小的值如0.5来快速遗忘早期梯度。4. Adam两全其美的终极方案4.1 Adam的核心机制Adam可以看作是Momentum和RMSProp的私生子# 动量项 m beta1 * m (1 - beta1) * gradient # 自适应项 v beta2 * v (1 - beta2) * gradient**2 # 偏差修正 m_hat m / (1 - beta1**t) v_hat v / (1 - beta2**t) # 更新 w - learning_rate * m_hat / (np.sqrt(v_hat) eps)这个设计巧妙结合了两家之长动量项解决梯度方向问题自适应项解决学习率问题偏差修正解决初始偏差问题我在BERT微调任务中对比发现Adam比SGD快3倍达到相同准确率。特别是在训练初期Adam的loss下降曲线明显更陡峭。4.2 Adam的潜在缺陷与变种但Adam并非完美无缺。2017年ICLR的论文指出Adam在某些任务上可能无法收敛到最优解。我本人在图像生成任务中也遇到过Adam最终性能不如SGD的情况。这时可以考虑这些变种AdamW解耦权重衰减更适合TransformerNAdam引入Nesterov动量更稳定AMSGrad解决非凸问题中的收敛问题对于CV任务我的经验法则是先用Adam快速收敛后期换SGD微调。而在NLP任务中AdamW通常是首选。5. 实战选择指南什么情况下用什么优化器5.1 不同任务的优化器选择计算机视觉CNN架构大型数据集初始用Adam后期转SGDMomentum小型数据集全程使用AdamGAN训练交替使用Adam生成器和SGD判别器自然语言处理Transformer架构BERT/RoBERTaAdamW是标配RNN/LSTMRMSProp或Adam机器翻译Adam初始训练SGD微调强化学习离散动作空间RMSProp连续动作空间Adam稀疏奖励考虑Adagrad5.2 调参经验分享经过数十个项目实践我总结出这些经验学习率是最关键的参数建议用学习率预热warmupAdam的beta1通常保持0.9beta2可以尝试0.999或0.98批量较大时1024适当提高学习率遇到震荡时尝试梯度裁剪gradient clipping验证集表现波动大时降低学习率或换用SGD具体到代码实现PyTorch中的优化器使用示例# AdamW示例 optimizer AdamW(model.parameters(), lr5e-5, betas(0.9, 0.999)) # 带warmup的SGD optimizer SGD(model.parameters(), lr0.1, momentum0.9) scheduler LambdaLR(optimizer, lr_lambdalambda epoch: min(epoch/10.0, 1.0))6. 前沿发展与未来趋势虽然Adam系列占据主流但优化器领域仍在不断创新。最近引起我注意的几个方向自适应优化器新变种Lion优化器2023比Adam更省内存Sophia2023二阶信息近似训练速度提升2倍传统优化器的复兴LAMB优化器专为大batch训练设计NovoGrad更适合语音识别任务硬件感知优化针对TPU优化的AdaFactor低精度训练的8-bit Adam在我最近参与的视觉-语言多模态项目中发现不同模块可能需要不同的优化器。比如视觉部分用AdamW文本部分用SGD这种混合策略取得了比单一优化器更好的效果。