1. 项目概述为什么 optimizer 是图像分类器里最被低估的“调音师”你有没有遇到过这种情况模型结构一模一样数据集完全相同连预处理步骤都逐行核对过可别人的 LeNet 在 CIFAR-10 上轻松跑出 72% 的测试准确率而你的却卡在 63% 不动训练损失曲线看起来也怪怪的——不是一路狂跌后突然震荡就是平缓得像冻住了一样怎么调学习率都没反应。我第一次在实验室复现论文结果时连续三天盯着 TensorBoard 发呆最后发现问题根本不在代码 bug 或数据泄露而是在optimizer torch.optim.SGD(model.parameters(), lr0.01)这一行里——那个被我们随手写进脚本、从不细看的 optimizer 参数才是真正的性能开关。这绝不是玄学。图像分类器本质上是一台高维空间里的精密导航仪输入一张猫图它要在上千万维的权重空间里找到一条既避开局部陷阱、又不冲过最优解的路径。而 optimizer 就是这台导航仪的“路径规划引擎”。SGD 是靠蛮力一步步试探Adam 像带 GPS 和实时路况的自动驾驶RMSProp 则像老司机会根据路面颠簸程度自动调节油门。它们不是简单地“更新权重”而是在用完全不同的数学逻辑重新定义“下降方向”和“步长大小”。选错 optimizer就像给越野车装上赛车胎——参数量再大、数据再多也跑不赢一条泥泞小路。本文要做的不是罗列公式或复述教科书定义而是带你回到实验台前亲手拆开 SGDM、Adam、RMSProp 和 Adagrad 的内部齿轮看它们在真实图像分类任务中如何咬合、打滑、甚至卡死。我会告诉你为什么在 LeNet 上 Adam 表现平平却在 ResNet-50 上一骑绝尘为什么把学习率从 1e-3 降到 1e-5RMSProp 突然从“训练失联”变成“收敛稳如老狗”更关键的是当你只有单张 3090 显卡、必须在 24 小时内跑完 50 轮实验时该信直觉还是信论文里的默认配置这些答案全藏在 loss 曲线的每一次拐点、accuracy 的每一处抖动里。2. 核心原理拆解optimizer 不是“更新器”而是“空间建模器”2.1 为什么 SGD 需要 Momentum——从“醉汉下山”到“滑雪运动员”初学者常把 SGDStochastic Gradient Descent理解为“每次只用一个样本算梯度然后更新权重”。这没错但漏掉了致命细节它更新的方向永远只由当前这一瞬间的梯度决定。想象一个醉汉在浓雾中的山坡上往下走每一步都只低头看脚下那块石头的倾斜度完全不管前后左右的地势。结果就是他可能在山谷边缘反复横跳明明离谷底只剩十步却因一块凸起的石头而原地打转。这就是 SGD 的本质缺陷——高方差梯度噪声导致路径剧烈震荡严重拖慢收敛速度。Momentum动量的引入正是为了解决这个“醉汉困境”。它的核心思想极其朴素别只看眼前这一步把之前所有走过的方向加权平均起来形成一股惯性。数学上它维护一个速度向量 v每次更新不是直接用梯度 g而是用 v 的指数衰减加权和v_t β * v_{t-1} (1 - β) * g_t θ_{t1} θ_t - η * v_t其中 β 通常取 0.9η 是学习率。这个公式背后藏着精妙的物理类比v_t 就是“速度”β 控制着“惯性大小”。当梯度方向持续一致比如一直往谷底走v_t 会越积越大相当于滑雪运动员顺着坡道加速下滑当梯度方向反复横跳比如在狭窄山谷里v_t 的累积效应会平滑掉高频抖动让整体运动方向更稳定。我在 LeNet 实验中将 momentum 设为 0.9其效果立竿见影训练损失从 SGD 的锯齿状震荡标准差达 0.15变成了 SGDM 的平滑下降标准差降至 0.03且最终收敛值低了 0.08。这不是魔法是数学对物理世界的精准模拟——Momentum 没有发明新算法它只是给 SGD 装上了记忆和惯性让它从随机游走升级为有方向的滑行。提示Momentum 的 β 值不是越大越好。我曾试过 β0.99结果模型在后期几乎“刹不住车”在最优解附近大幅 overshoot测试准确率反而比 β0.9 低 1.2%。这是因为过大的惯性会削弱模型对细微梯度变化的响应能力尤其在接近收敛时需要的是“微调”而非“冲刺”。2.2 Adagrad 的“个性化学习率”为何它在 LeNet 上惨败Adagrad 的核心洞见极具革命性不同参数的更新需求天差地别。以卷积层为例浅层权重如边缘检测器往往更新频繁且幅度大而深层权重如语义组合器则更新稀疏且需谨慎。传统 SGD 给所有参数配同一把“钥匙”固定学习率显然不合理。Adagrad 的方案是为每个参数单独配一把“自适应钥匙”其大小与该参数历史梯度的平方和成反比G_t[i,i] G_{t-1}[i,i] g_t[i]^2 # 对角矩阵记录各参数历史梯度平方和 θ_{t1}[i] θ_t[i] - η / sqrt(G_t[i,i] ε) * g_t[i]这里 G_t[i,i] 就是第 i 个参数的“经验积累值”。某个参数如果历史上梯度很大比如经常被激活的神经元G_t[i,i] 就会飞速增长导致分母变大“钥匙”变小后续更新就更保守反之如果某参数长期沉默如稀疏特征对应的权重G_t[i,i] 增长缓慢“钥匙”保持较大就能获得更激进的更新机会。这听起来完美但问题出在G_t 是单调递增的。随着训练进行所有 G_t[i,i] 只会越来越大分母 sqrt(G_t[i,i]) 也随之膨胀最终导致所有学习率被压缩到趋近于零。我在 LeNet 实验中观察到训练到第 30 轮时Adagrad 的有效学习率已衰减至初始值的 1/10模型几乎“冻住”测试准确率停在 48%远低于 SGD 的 54%。这不是 Adagrad 的设计缺陷而是它与 LeNet 的“基因不匹配”——LeNet 参数量小约 6 万、结构简单梯度更新本就相对均匀强行引入这种强衰减机制无异于给一辆城市代步车装上越野车的限滑差速器徒增阻力。注意Adagrad 的“衰减诅咒”在深度网络中反而可能成为优势。ResNet-50 有上千万参数其中大量 BN 层和残差连接会产生极稀疏的梯度。此时 Adagrad 的自适应衰减恰能保护那些偶尔被激活的关键路径不被淹没。所以它并非“差”而是“挑剔”——只适合参数更新高度不均衡的场景。2.3 RMSPropHinton 的“动态刹车系统”RMSProp 的诞生直指 Adagrad 的软肋。Geoffrey Hinton 在一次讲座中半开玩笑地说“Adagrad 把学习率调得太死它需要的不是‘永久减速’而是一套能根据路况实时调节的‘ABS 防抱死系统’。” RMSProp 的解决方案简洁有力不用累加所有历史梯度只用一个指数移动平均EMA来跟踪近期梯度的均方根RMSE[g²]_t γ * E[g²]_{t-1} (1 - γ) * g_t² # γ 通常取 0.9 或 0.99 θ_{t1} θ_t - η / sqrt(E[g²]_t ε) * g_t关键区别在于E[g²]_t的计算方式。它不像 Adagrad 那样“记一辈子账”而是只关注最近一段时间由 γ 决定“记忆长度”的梯度强度。当某参数近期梯度剧烈波动比如在复杂纹理区域E[g²]_t 会迅速增大学习率自动调小避免“踩空”当梯度平稳比如在背景区域E[g²]_t 缓慢下降学习率温和回升保证推进效率。这正是 RMSProp 在 AlexNet 实验中表现稳健的原因AlexNet 参数量大约 6000 万、层次深不同层的梯度尺度差异巨大第一层卷积梯度常达 1e-2最后一层 FC 梯度可能只有 1e-5。RMSProp 的 EMA 机制像一位经验丰富的调音师能同时照顾到高音区的尖锐和低音区的浑厚让整个网络的更新节奏和谐统一。我在实验中将 γ 设为 0.99这意味着它主要关注过去约 100 步的梯度动态这个时间窗口恰好覆盖了图像分类中一个 mini-batch 的典型迭代周期。2.4 AdamSGDM 与 RMSProp 的“基因融合体”如果说 RMSProp 解决了 Adagrad 的“记忆过载”那么 AdamAdaptive Moment Estimation则完成了终极整合它同时继承了 SGDM 的“动量惯性”和 RMSProp 的“自适应缩放”并用无偏估计修正了二者的初始化偏差。其更新规则堪称优化算法的“集大成者”m_t β1 * m_{t-1} (1 - β1) * g_t # 一阶矩估计动量 v_t β2 * v_{t-1} (1 - β2) * g_t² # 二阶矩估计RMSProp 的 EMA m̂_t m_t / (1 - β1^t) # 偏差校正解决初期 m_t 过小 v̂_t v_t / (1 - β2^t) # 偏差校正解决初期 v_t 过小 θ_{t1} θ_t - η * m̂_t / (sqrt(v̂_t) ε)这里 β10.9继承 SGDM 的惯性β20.999继承 RMSProp 的精细调控。Adam 的强大在于它对“方向”和“步长”的双重智能管理m̂_t 确保更新方向稳定减少震荡v̂_t 确保步长适配防止过大或过小。这也是它为何在工业界被奉为“默认选择”——它对超参数不敏感鲁棒性强。但我的实验揭示了一个反直觉现象在 LeNetCIFAR-10 这个“轻量级战场”上Adam 的测试准确率67%竟略低于 SGDM70%。深入分析 loss 曲线发现Adam 的训练损失下降极快第 5 轮就跌破 1.0但测试损失在第 20 轮后开始缓慢爬升出现了轻微过拟合。原因在于Adam 的强自适应能力让它能高效捕捉训练集中的所有模式包括那些由数据噪声或标注误差产生的“虚假规律”。而 SGDM 的“笨拙”反而成了优势——它的惯性使其对高频噪声不敏感更倾向于学习数据的底层、鲁棒的结构特征。这印证了一个重要原则没有最好的 optimizer只有最适合当前任务复杂度与数据质量的 optimizer。3. 实操过程详解从环境搭建到结果归因的完整闭环3.1 实验环境与数据准备控制变量的“手术台”任何可靠的对比实验首要任务是构建一个绝对干净的“手术台”。我的实验环境严格锁定如下确保所有 optimizer 的表现差异只源于其自身算法特性而非硬件或框架的干扰硬件单块 NVIDIA RTX 309024GB VRAM禁用多卡并行杜绝 NCCL 通信开销带来的不确定性。软件栈Ubuntu 20.04, CUDA 11.3, PyTorch 1.10.2稳定版非 nightlyPython 3.8.10。数据集CIFAR-10不做任何额外增强。这是关键很多教程推荐用 RandomHorizontalFlip 或 Cutout 来提升 baseline但这会引入新的变量。我坚持使用原始 32x32 彩色图像仅做标准化mean[0.491, 0.482, 0.447], std[0.247, 0.243, 0.262]因为我们要纯粹观察 optimizer 对“原始信号”的处理能力。模型LeNet-5非官方实现严格遵循 Yann LeCun 原始论文的 5 层结构C1-C3-S4-C5-F6和 AlexNetPyTorch 官方 torchvision.models.alexnet但移除了最后的 classifier 中的 dropout以排除正则化对 optimizer 效果的干扰。提示很多人忽略torch.backends.cudnn.benchmark True这个设置。开启它会让 cuDNN 在首次运行时自动为当前硬件和输入尺寸寻找最快的卷积算法。但在 optimizer 对比实验中我将其设为False。因为不同 optimizer 的前向/反向传播时间略有差异开启 benchmark 可能导致 cuDNN 为每个 optimizer 选择不同的算法从而污染 timing 数据。我们追求的是“公平的数学比较”而非“最快的工程实现”。3.2 模型构建与训练脚本可复现的“黄金标准”以下是 LeNet-5 的核心构建代码重点在于所有模型共享完全相同的初始化策略和架构细节仅 optimizer 不同import torch import torch.nn as nn import torch.optim as optim class LeNet5(nn.Module): def __init__(self, num_classes10): super(LeNet5, self).__init__() # C1: 32x32 - 28x28 (5x5 conv) self.conv1 nn.Conv2d(3, 6, kernel_size5, stride1, padding0) # S2: 28x28 - 14x14 (2x2 avg pool) self.pool1 nn.AvgPool2d(kernel_size2, stride2) # C3: 14x14 - 10x10 (5x5 conv) self.conv2 nn.Conv2d(6, 16, kernel_size5, stride1, padding0) # S4: 10x10 - 5x5 (2x2 avg pool) self.pool2 nn.AvgPool2d(kernel_size2, stride2) # C5: 5x5x16 - 120 (fully connected, flattened) self.fc1 nn.Linear(16 * 5 * 5, 120) # F6: 120 - 84 self.fc2 nn.Linear(120, 84) # Output: 84 - 10 self.fc3 nn.Linear(84, num_classes) # 关键统一的 Xavier 初始化消除权重起点差异 for m in self.modules(): if isinstance(m, nn.Conv2d) or isinstance(m, nn.Linear): nn.init.xavier_uniform_(m.weight) if m.bias is not None: nn.init.constant_(m.bias, 0) def forward(self, x): x torch.relu(self.conv1(x)) x self.pool1(x) x torch.relu(self.conv2(x)) x self.pool2(x) x x.view(x.size(0), -1) # Flatten x torch.relu(self.fc1(x)) x torch.relu(self.fc2(x)) x self.fc3(x) return x # 训练主循环伪代码突出关键控制点 def train_model(model, train_loader, val_loader, optimizer, criterion, epochs50): device torch.device(cuda if torch.cuda.is_available() else cpu) model.to(device) best_acc 0.0 for epoch in range(epochs): model.train() running_loss 0.0 for i, (inputs, labels) in enumerate(train_loader): inputs, labels inputs.to(device), labels.to(device) # 清零梯度所有 optimizer 都需此步但意义不同 optimizer.zero_grad() # 前向传播 outputs model(inputs) loss criterion(outputs, labels) # 反向传播此处是 optimizer 差异的“爆发点” loss.backward() # 关键optimizer.step() 执行各自的核心逻辑 # SGD: 直接用 grad 更新 # SGDM: 用 grad 和 v 更新 # Adam: 用 m̂ 和 v̂ 更新 optimizer.step() running_loss loss.item() # ... 记录日志 ...3.3 五种 optimizer 的参数配置与实测表现下表汇总了我在 LeNet-5 CIFAR-10 上针对五种 optimizer 的严格一致的配置与实测结果50 轮训练batch size128全局学习率 η0.001Optimizer核心参数配置训练损失 (Final)测试准确率 (%)收敛稳定性 (Loss Std)关键观察SGDlr0.001,momentum00.71254.030.152损失曲线呈宽幅锯齿第 45 轮后仍小幅震荡收敛慢。SGDMlr0.001,momentum0.90.63569.870.031损失平滑下降第 25 轮即进入平台期测试准确率最高。Adagradlr0.001,eps1e-100.82148.210.018损失前期下降快但第 20 轮后几乎水平学习率衰减过度。RMSProplr0.001,alpha0.99,eps1e-80.63065.320.025损失下降稳健但第 35 轮后出现微弱上升趋势疑似轻微过拟合。Adamlr0.001,betas(0.9, 0.999),eps1e-80.58767.150.012训练损失最低但测试准确率非最高loss 曲线最平滑但测试 loss 在第 22 轮后开始爬升。这个表格揭示了 optimizer 的“性格画像”SGDM 是“稳扎稳打的优等生”Adam 是“天赋异禀但有点冒进的天才”RMSProp 是“冷静理性的工程师”Adagrad 是“后劲不足的早慧少年”SGD 则是“需要耐心雕琢的老匠人”。特别值得注意的是Adam 的“训练-测试鸿沟”它以 0.587 的最低训练损失换来了 67.15% 的测试准确率而 SGDM 以稍高的 0.635 训练损失却获得了最高的 69.87%。这说明 Adam 在 LeNet 这个简单任务上过度优化了训练集牺牲了泛化能力。这并非 bug而是其算法特性的必然体现——它对梯度的二阶矩估计使其对训练数据的“细节”过于敏感。3.4 学习率敏感性实验为什么 RMSProp 和 Adam 需要“降档”前述实验中RMSProp 和 Adam 在 AlexNet 上的表现令人困惑RMSProp 的测试准确率81.2%低于 SGDM83.75%而 Adam 更是跌至 79.5%。直觉告诉我问题可能出在学习率上。RMSProp 和 Adam 的自适应机制本质上是在动态调整每个参数的有效学习率。当全局lr0.001时它们内部计算出的η / sqrt(v̂_t)可能已经大到足以让某些敏感层“失控”。于是我进行了关键的第二轮实验将全局学习率统一降至 1e-5。结果发生了戏剧性逆转Optimizerlr0.001 (原)lr1e-5 (新)变化RMSProp81.2%84.6%3.4%Adam79.5%83.1%3.6%SGDM83.75%76.2%-7.55%这个对比极具启发性。RMSProp 和 Adam 的性能飙升证明了它们的自适应缩放机制在低学习率下才能发挥最大威力——此时v̂_t的分母项主导了步长调控让算法能更精细地“品味”每个梯度的价值。而 SGDM 的崩塌则暴露了其“惯性依赖”的弱点当lr太小v_t的累积效应无法克服梯度噪声模型陷入“假收敛”看似 loss 平稳实则停滞不前。这给了我一个硬核经验法则对于基于二阶矩RMSProp, Adam或自适应缩放Adagrad的 optimizer初始学习率应设为 SGD/SGDM 的 1/10 到 1/100而对于纯一阶动量SGDM的 optimizer学习率则应设为 SGD 的 1/10 到 1/5。这个比例不是玄学它源于算法内部的数学尺度——Adam 的v̂_t通常在 1e-3 量级若lr0.001则lr/sqrt(v̂_t)可能高达 0.03远超安全阈值。4. 常见问题与排查技巧实录来自实验台的真实战报4.1 “Loss 突然爆炸”不是代码错误是 optimizer 的“警报”在 RMSProp 实验中我曾遭遇一次惊心动魄的“loss 爆炸”训练到第 18 轮loss 从 0.65 瞬间飙升至 12.3随后模型彻底失效。第一反应是检查loss.backward()是否有 NaN或是optimizer.step()是否误用了torch.no_grad()。但排查后一切正常。最终我在v_t的更新公式里找到了元凶v_t β * v_{t-1} (1 - β) * g_t²。当某次迭代的梯度g_t异常巨大比如一个 batch 里混入了损坏的图像g_t²会成为一个天文数字直接撑爆v_t。而v_t是分母一旦它变得极大下一步的更新步长η / sqrt(v_t)就会趋近于零模型“冻住”但更危险的是如果v_t因数值溢出overflow变成inf那么1/sqrt(v_t)就是0导致权重不再更新loss 停滞。然而我的情况是v_t没有溢出而是g_t²的巨大值让v_t在后续几轮内持续处于高位使得η / sqrt(v_t)变得极小模型更新近乎停止loss 曲线看起来像“断崖式下跌”后的“水平线”实则是“死亡静默”。解决方案梯度裁剪Gradient Clipping在optimizer.step()前强制将梯度范数限制在阈值内。torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)是最常用且有效的手段。我在后续所有实验中都启用了它max_norm1.0这个值是通过观察正常训练时梯度范数的 95% 分位数约 0.8后向上取整得到的。ε 的选择v_t公式中的ε通常 1e-8不是摆设。它防止v_t为零导致除零错误但也影响数值稳定性。我曾将ε设为 1e-12结果在低精度训练FP16时v_t接近ε时sqrt(v_t)的计算精度损失放大引发不稳定。最终采用 PyTorch 默认的1e-8它在 FP32 下提供了最佳的精度与稳定性平衡。4.2 “Accuracy 卡在 10% 不动”数据加载的“隐形杀手”在首次运行 Adam 实验时测试准确率稳定在 10.0%恰好等于随机猜测CIFAR-10 有 10 类。这通常是模型完全没学到任何东西的标志。我花了整整一天检查模型结构、损失函数、标签编码甚至重装了 PyTorch。最终问题出在DataLoader的shuffle参数上。我错误地将train_loader的shuffleTrue而val_loader的shuffleFalse这是正确的但忘了val_loader的batch_size设为了 10000整个测试集而shuffleFalse在这种情况下会导致DataLoader每次返回的都是同一个 batch即固定的前 10000 张图而这些图的标签顺序恰好是[0,0,...,0,1,1,...,1,...,9,9,...,9]。当模型在验证时它看到的永远是“全是猫”然后预测“全是猫”acc10%。这并非 optimizer 的问题而是数据管道的陷阱。排查技巧永远先验证数据在训练循环外单独写一段代码for i, (x, y) in enumerate(val_loader): print(y[:5]); break确认标签分布是否合理。使用小 batch 测试将val_loader的batch_size临时改为 32并打印y能立刻暴露 shuffle 问题。可视化输入用torchvision.utils.make_grid将一个 batch 的图像拼成网格并显示肉眼确认图像和标签是否匹配。这是最直观、最不可替代的调试手段。4.3 “训练 Loss 下降Test Loss 上升”optimizer 的“过拟合指纹”这是所有 optimizer 都会面临的问题但不同算法的“指纹”各异。在我的实验中SGDMTest Loss 在训练后期第 40 轮后才开始缓慢爬升且幅度小0.02表明其过拟合是渐进、温和的。AdamTest Loss 在第 22 轮就出现明显拐点且斜率陡峭0.08呈现出典型的“快速过拟合”。RMSPropTest Loss 在第 35 轮出现微弱上升但很快被拉回显示出较强的“自我修正”能力。这种差异源于它们对梯度噪声的处理哲学。SGDM 的动量像一个低通滤波器天然抑制了高频噪声Adam 的二阶矩估计则像一个高灵敏度麦克风能捕捉到训练集里最细微的“杂音”并将其当作有用信号来学习。因此当观察到 Test Loss 上升时不要急于加 Dropout 或 L2 正则化先检查 optimizer 的选择是否与任务复杂度匹配。对于简单任务LeNetCIFAR-10SGDM 的“钝感力”反而是优势对于复杂任务ViTImageNetAdam 的“敏锐度”则不可或缺。我的经验是如果 Test Loss 上升发生在训练中期30% epoch优先怀疑 optimizer 或学习率如果发生在后期70% epoch再考虑正则化。4.4 “GPU 显存占用异常高”optimizer 的“内存暗礁”在尝试将 Adam 的betas从(0.9, 0.999)改为(0.99, 0.9999)以追求更平滑的收敛时我发现 GPU 显存占用从 8GB 暴涨到 14GB训练直接 OOM。问题出在 Adam 的状态变量上。Adam 为每个可训练参数维护两个状态一阶矩m_t和二阶矩v_t。这意味着一个有 N 个参数的模型Adam 需要额外存储 2N 个浮点数。而betas的改变虽然不影响算法逻辑但会影响m_t和v_t的数值范围和更新频率进而影响 CUDA 内存分配器的行为。更根本的原因是PyTorch 的 Adam 实现在内部使用了torch.float32来存储m_t和v_t即使模型权重是float16状态变量仍是float32这造成了巨大的内存冗余。优化方案使用torch.optim.AdamW它是 Adam 的现代改进版内置了权重衰减weight decay的正确实现并且在 PyTorch 1.12 版本中支持fusedTrue参数。启用fusedTrue后AdamW 会将m_t和v_t的更新与权重更新融合在一个 CUDA kernel 中执行不仅提速 15%还能显著降低显存峰值在我的 3090 上从 14GB 降至 9.5GB。手动管理状态精度对于极致的显存优化可以创建一个自定义的 Adam 实现将m_t和v_t存储为torch.float16。但这需要深厚的 CUDA 编程功底且可能引入数值不稳定仅推荐在资源极度受限的嵌入式场景下使用。5. 实战选型指南根据你的项目“基因”匹配 optimizer5.1 一张表看清所有 optimizer 的“适用基因图谱”场景特征最佳匹配 Optimizer原因解析我的实测建议任务简单数据干净模型小(e.g., LeNet on MNIST/CIFAR-10)SGDM小模型梯度噪声低SGDM 的动量足以提供稳定收敛且其“钝感”能天然抵抗过拟合。Adagrad/RMSProp 的自适应机制在此场景下是冗余开销。lr0.01,momentum0.9。这是 LeNet 的“黄金组合”在我所有实验中它都给出了最高且最稳定的测试准确率。任务复杂数据噪声大模型深(e.g., ResNet-50 on ImageNet)AdamW深度网络梯度尺度差异巨大AdamW 的自适应缩放能同时照顾到不同层其对噪声的敏感性在大数据集上反而是优势能快速学习到鲁棒特征。lr3e-4,betas(0.9, 0.999),weight_decay0.05,fusedTrue。这是 ImageNet 上的工业级标配。训练资源极度受限需极致速度(e.g., 单卡 2080Ti, 限时 12 小时)RMSPropRMSProp 的计算开销介于 SGDM 和 Adam 之间且其收敛速度通常快于 SGDM慢于 Adam是速度与稳定性的最佳折中。lr0.0005,alpha0.99,eps1e-8。在我的 3090 实验中它比 SGDM 快 1.8 倍达到同等准确率。需要精确控制学习率衰减(e.g., 使用 CosineAnnealingLR)SGDSGD 的学习率是“裸露”的与 scheduler 的交互最直接、最可预测。Adam 的内部自适应会与外部 scheduler 产生不可预知的耦合。lr0.1,momentum0.9,nesterovTrue。这是 ResNet 论文中的经典配置与 CosineAnnealing 完美协同。探索性研究需理解梯度行为AdagradAdagrad 的G_t