这项由上海人工智能实验室、上海大学、西湖大学、上海交通大学、中国科学院大学、浙江大学、南方科技大学等多家机构联合开展的研究于2026年7月以预印本形式发布论文编号为arXiv:2607.04033。感兴趣的读者可以通过这个编号在arXiv平台找到完整论文。**一场关于如何训练AI的大混战**每一个AI模型的背后都藏着一个不起眼却至关重要的角色——优化器。如果把训练AI比作攀登一座布满迷雾的山峰那优化器就是那个每步决定脚往哪儿迈的向导。它的核心任务是根据当前的错误信号计算出下一步参数应该怎么调整从而让模型越来越准确。问题在于现在这个向导的种类已经超过了一百种。有的向导擅长快速找到大致方向有的向导更省力气占用更少内存有的向导在崎岖地形长序列、复杂架构上表现更稳有的向导对初始方向的选择非常敏感。这些向导各有脾气研究者们每隔一段时间就会推出新的向导声称自己在某些测试中打败了前辈但换一个测试场景结论又可能完全相反。面对这种混乱局面研究团队决定做一件耗时耗力却极有价值的事给这一百多种优化器建立一套统一的语言体系让人们能够清晰地看懂每种方法究竟在干什么然后在真实的训练场景中系统地测一测它们到底表现如何。这项工作被命名为OmniOpt意为全面的优化器研究。**一、优化器到底在做什么一条五步流水线**要理解这场混战的根源得先搞清楚优化器的工作流程。研究团队发现尽管一百多种方法看上去五花八门但它们本质上都在执行一套相同的五步动作只是每种方法在其中某一步或两步上做了不同的改动其余步骤照旧。研究团队将这五步称为通用元流水线。第一步叫做参数分组与路由简单说就是决定哪些参数按矩阵方式处理哪些按普通向量方式处理。一个Transformer模型里有各种各样的参数注意力层的权重矩阵、归一化层的缩放系数、偏置项它们的形状和性质完全不同有的优化器会把这些参数分成不同的组别分别对待有的则一视同仁。第二步叫做梯度变换这是整个流水线里最核心的创新战场。梯度是模型告诉优化器我在哪个方向出了错的信号而变换就是对这个信号进行加工处理。有的方法直接用原始梯度有的把梯度变换成一个正交化的矩阵方向有的把梯度投影到一个低维子空间里再使用。第三步叫做状态演化也就是维护优化器自己的记忆。最经典的例子是AdamW所做的它同时维护两个移动平均一个追踪梯度的方向动量一个追踪梯度的大小波动二阶矩估计用来为每个参数定制一个个性化的学习步长。这两个记忆需要占用额外的内存对于一个70亿参数的模型而言仅这两个状态就需要约56GB存储空间。第四步叫做更新重建当梯度经过变换被压缩进了一个低维空间时最终要写回参数之前需要把它还原回原本的形状。这是第二步的镜像操作就像压缩文件之后需要解压才能使用一样。第五步叫做更新最终化负责把计算好的更新方向真正写入参数同时处理学习率缩放、权重衰减一种防止过拟合的正则化手段、梯度裁剪等收尾工作。研究团队指出一百多种优化器中绝大多数只在这五步中的某一步或两步上做了非平凡的改动其余步骤都按默认方式执行。这个发现非常重要因为它意味着两件事第一可以用一套统一的语言描述所有优化器第二两个处于不同步骤的方法原则上可以叠加使用而两个争夺同一步骤的方法叠加时就需要仔细考虑先后顺序。**二、用数学语言统一一百多种方法四轴坐标系**流水线解决了在哪儿改的问题但还需要解决怎么改的数学本质。研究团队在这里引入了一个优雅的几何工具线性最小化预言机简称LMO。LMO的直觉其实非常简单。每一步梯度更新本质上是在问在我能走的范围内哪个方向的下降最陡而我能走的范围由一个约束球的形状决定。不同形状的约束球给出不同的最陡下降方向。以最常见的情形为例如果约束球是一个普通的圆形数学上叫l2球那最陡下降方向就是梯度本身除以梯度长度也就是归一化梯度。如果约束球是一个正方体数学上叫l∞球也就是每个维度的最大位移固定那最陡下降方向就是梯度每个分量的符号即正的方向走一步负的方向走一步这正是Lion、SignSGD这类方法的本质。如果约束球是一个由矩阵谱范数定义的空间那最陡下降方向就是矩阵的极因子也就是Muon所做的事情。这个洞察把看起来差异很大的三类方法统一进了同一个几何框架它们的区别只在于用了哪种形状的约束球。AdamW可以理解为一种动态变形的正方体——由二阶矩统计决定每个维度的边界长度Muon对应谱范数球Lion对应固定正方体。基于这个几何视角研究团队建立了一个四轴坐标系来描述任意优化器的完整特征。第一轴是更新域描述更新发生在哪个空间里。大多数方法在原始参数空间操作GaLore这类方法则把更新限制在一个低秩子空间里相当于只在山峰的某几个主要方向上移动而忽略其他方向的微小变化。第二轴是状态估计器描述优化器维护什么样的历史记忆。什么都不记的是SGD记一阶动量方向平均的是带动量的SGD同时记一阶和二阶矩方向平均加大小方差的是Adam家族MARS方法在这一轴上做了改进它先对梯度进行方差缩减校正修正因随机采样带来的噪声再维护Adam的两个矩从而让记忆的原材料更准确。第三轴是几何与预条件算子也就是LMO所在的位置决定状态被转化成什么形状的更新方向。这一轴有LMO的约束球解读同时也可以用预条件的语言理解Hessian矩阵的逆或近似乘以梯度就是牛顿法的思路。AdamW用对角线二阶矩作为Hessian近似Shampoo和SOAP用Kronecker因子近似Muon用Gram矩阵的负半方根。第四轴是最终化包装器包含学习率、权重衰减、投影还原、路由规则和刷新计划等所有发生在方向确定之后的操作。通过这四个轴可以给任何一个优化器标注一个坐标就像用经纬度定位地球上的任意一点。两个方法的坐标差异越大它们通常越容易叠加组合两个方法在同一轴上都有强烈的非默认操作叠加时就需要仔细规定顺序。**三、一百零八位向导的家谱五大家族**统一了描述语言之后研究团队将所有收录的108个优化器按照主要机制分成了五大家族同时用效果目标收敛效率、计算成本、内存占用、训练稳定性、超参数鲁棒性、泛化能力从另一个维度给每个方法打标签。第一家族T1叫做逐元素自适应矩与标量控制。这是以AdamW为核心的最大家族共43个成员。这个家族的共同特征是对每个参数独立进行缩放不跨行列交换信息参数永远一个接一个地被更新绝不成批处理。家族内部按照改动位置分成三个支系直接修改AdamW某个环节如方差估计、偏差校正、权重衰减方式的是T1.1代表是AdamW本身及RAdam、AdaBelief、Adan、ADOPT等在信号质量上做文章添加多时间尺度动量或方差缩减的是T1.2代表是AdEMAMix和MARS-AdamW在外层控制逻辑上做文章无调度迭代平均或自动学习率推断的是T1.3代表是Schedule-Free AdamW和Prodigy。第二家族T2叫做矩阵级结构方法共16个成员。这个家族认为Transformer里的权重矩阵不应该被拆成独立的坐标处理而应当被作为一个整体对待。家族分三支用谱正交化处理梯度的T2.1代表是Muon和RMNP、用Kronecker因子近似曲率的T2.2代表是Shampoo和SOAP、把梯度投影到低秩子空间再更新的T2.3代表是GaLore。第三家族T3叫做离散化与方向量化共7个成员。这个家族干了一件极端的事情把梯度的连续数值方向直接变成±1的符号方向丢弃幅度信息只保留方向。核心代表是Lion它对动量和当前梯度的插值取符号更新的最大步长直接由学习率控制不受梯度幅度影响。这让T3方法的每一步计算都非常便宜同时也不需要存储二阶矩内存比AdamW少一个状态缓冲区。第四家族T4叫做状态压缩与结构聚合共11个成员。这个家族专注于解决内存压力问题通过各种方式压缩或精简优化器状态。按照压缩方式分四支用行列统计近似完整二阶矩矩阵的T4.1代表AdaFactor和CAME、用低精度整数存储状态的T4.2代表8-bit Adam、在参数块或层级共享统计量的T4.3代表Adam-mini和APOLLO、以及在反向传播过程中边算边写立刻释放梯度的T4.4代表LOMO。第五家族T5叫做曲率感知与几何正则化共25个成员。这个家族不改变基础方向计算而是在方向已经确定之后从几何角度对更新施加约束或修正。分四支通过对参数加扰动后重新计算梯度来寻找更平坦极小值的T5.1代表SAM家族用对角线Hessian估计替换二阶矩估计的T5.2代表Sophia对更新方向进行中心化、投影、掩码或稳定化处理的T5.3代表Cautious Optimizers、SPAM等按层或参数组的范数比例缩放更新步长的T5.4代表LAMB。**四、真刀真枪的测试两阶段大规模基准实验**分类体系建立起来之后研究团队做了这项工作中最耗时也最有价值的部分真实训练实验。实验设计非常严谨采用控制变量原则在每个实验里只有优化器相关的超参数可以调整所有的架构设置、数据集、训练时间表都保持完全相同以确保观察到的差异真的来自优化器本身而不是其他因素。实验分两个阶段展开覆盖24个代表性优化器。第一阶段叫做广泛筛查在C4数据集一个大规模英文网页文本数据集上使用LLaMA架构在60M、130M、350M、1B四个参数规模上各训练一轮用最终的验证集困惑度PPL越低越好、优化器状态内存占用和每步运行时间来评估。评估目标对应前三个效果目标收敛质量O1、计算成本O2、内存成本O3。第二阶段叫做泛化能力测试把第一阶段表现较好的优化器放到更苛刻的条件下更高质量的数据集FineWeb-Edu、32k长序列、340M和1B两个规模以及四种架构——标准Transformer加上三种线性注意力变体Gated DeltaNet、DeltaNet、GLA。除了PPL还要测WikiText困惑度和十个常识推理下游任务的平均准确率CS Avg.。在第一阶段中最值得关注的发现是APOLLO的惊人表现。这个属于T4状态压缩家族的方法在1B规模上达到了所有24个方法中最低的PPL13.53而且它的优化器状态内存极小仅0.79GBAdamW需要约5GB。它几乎同时站上了质量和内存效率的最优前沿。不过Pareto前沿分析找出没有任何方法在所有指标上都优于它的方法集合揭示了一个更复杂的图景在PPL对运行时间的前沿上RMNP表现得非常均衡它以接近AdamW的运行时间代价获得了接近Muon水平的质量SOAP以极高的运行时间代价换来了极好的PPLLion则是最快的方法但质量最差。不同的家族占据了效率空间的不同位置不存在一个在所有指标上全面碾压的方法。进入第二阶段事情变得更加戏剧性。在长序列32k和多架构的测试中优化器的排名发生了显著的重新洗牌。SOAP成为了跨场景最稳定的高质量优化器在八个场景两个规模乘以四种架构中的七个里拿到了PPL最优或次优表现出极强的架构泛化能力。MARS-AdamW是T1家族中最稳定的提升版本在多个场景中领先于普通AdamW尤其在常识推理任务上表现突出。Muon则表现出明显的架构依赖性在标准Transformer上处于中游但在GLA架构上一跃成为最优这说明它的谱正交化更新方向与GLA架构的参数拓扑存在某种深层的契合。最戏剧性的反转是APOLLO的故事。在256个token的短序列设置下它是排名第一的优化器。但当序列长度拉长到32k时它的PPL比短序列时足足差了21.87而AdamW同样条件下只差了7.39APOLLO的劣化程度是AdamW的约三倍成为所有测试方法中泛化最差的一个。研究团队用四轴框架精准地解释了这个现象。APOLLO的本质是第二轴状态估计器上的激进压缩它通过随机投影将梯度压到一个低维子空间中维护统计量。在短序列场景下梯度的有效秩比较低这个低维近似几乎不损失信息。但当序列变长时模型需要捕捉更长距离的依赖关系梯度的有效秩随之升高固定维度的投影就会开始丢失越来越多的关键信息导致更新质量急剧下降。这个发现总结成一个非常实用的警示T4家族的优势受到梯度有效秩的约束短序列下看起来极好的表现不能代表长序列下的可靠性。在CIFAR-100图像分类的视觉领域测试中跨架构的不稳定性再次得到验证。在CNNResNet50上AdaBelief达到最优在Vision TransformerDeiT-S上Muon大幅领先比AdamW高出超过五个百分点在MetaFormerCAFormer-S12上Adan拿到最优。没有任何一个优化器在三种视觉架构上都是最优的这和语言模型测试中的结论相互印证优化器的表现与目标架构的梯度结构深度绑定。**五、训练稳定性与超参数鲁棒性两个经常被忽视的维度**研究团队还针对稳定性O4和超参数鲁棒性O5进行了专门的辅助分析这两个维度在通常的优化器论文中往往只是一笔带过。稳定性分析通过计算梯度范数的变异系数GNormCV梯度范数的标准差除以均值越低越稳来衡量。一个重要发现是所有测试的运行都正常结束没有出现数值溢出NaN/Inf但GNormCV的差异却跨越了超过两个数量级从约0.3到超过160不等。这意味着传统的是否收敛判断标准完全无法区分这些方法的稳定性差异而GNormCV才能暴露出训练轨迹中隐藏的软性不稳定性。Muon在稳定性上表现最好在所有架构的测试场景中几乎总是排名前两位这与它的谱正交化将更新的幅度从梯度幅度中解耦有关——每一步更新的大小由学习率决定而不会被梯度的突然变化所放大。SOAP和Conda在某些架构上出现了极高的GNormCV但诊断显示这是偶发的单步脉冲并非持续性的振荡本质上是罕见的极端步骤被平均值放大了统计结果。GLA架构是所有方法的稳定性压力测试几乎所有优化器在GLA上的GNormCV都显著升高说明这是架构本身的特性导致的而非优化器的问题。超参数鲁棒性测试的设计是对每个优化器的调好学习率分别测试将学习率缩小到五分之一和放大到五倍时PPL的相对恶化程度有多大。Lion和MARS-Lion在这个测试中最鲁棒灵敏度分别只有0.7%和7.7%原因正是T3家族的机制特性因为更新的每个坐标幅度都被固定为±1乘以学习率学习率的中等程度变化对方向没有影响只影响步长大小所以有一定的容忍空间。然而研究团队特别指出这种鲁棒性部分来自于Lion的质量并不出色——质量在一个较宽的学习率范围内都平平无奇当然不容易变差太多。APOLLO的鲁棒性最差灵敏度高达63.3%与它在长序列测试中的脆弱性形成了一致的侧写。**六、拆解Muon一台矩阵优化器的内部构造**Muon被选为深度机制消融研究的对象因为它的机制相对清晰而又有足够深度。研究团队把Muon的各个组成操作拆开逐一测试目的是搞清楚哪个操作是不可或缺的核心哪些操作只是锦上添花操作的顺序是否可以随意调换。消融实验在C4-LLaMA 350M规模上进行。基准是普通AdamWPPL 17.78。第一个实验揭示了核心所在把AdamW的二阶矩去掉保留一阶动量但不加任何补偿退化为带动量的SGDPPL直接跳到70.74训练实际上已经崩溃。但只要加回Newton-SchulzNS正交化PPL就立刻恢复到16.86已经优于AdamW这明确确立了NS正交化是Muon能工作的关键核心。第二个实验测试了锦上添花的操作。在NS正交化的基础上对矩阵的行列维度分别施加不同的学习率缩放对称双向缩放考虑矩阵是否更宽或更高能将PPL进一步降到16.52在NS正交化之后再施加Nesterov动量校正能达到16.57二者同时使用达到16.51。这两个改进各自独立地提供了额外收益而且在C4上它们的效果可以叠加。第三个实验测试了操作顺序的约束。如果把动量在正交化空间里累积而不是在原始梯度空间累积动量再正交化PPL会劣化到23.01与AdamW相比毫无优势。如果先做学习率缩放再做NS正交化而不是先正交化再缩放PPL会劣化到16.70。这说明Muon的这些组件不是可以随意排列的积木它们在流水线中有严格的拓扑顺序。在多架构验证中这两个增益操作在标准Transformer的350M和1B规模上都能稳定迁移且可以叠加。但在Gated DeltaNet架构上两个增益各自单独使用仍然有效合并使用时的改善却不再超过最好的单一增益。这说明增益操作之间的协同作用是架构依赖的在线性注意力机制的参数拓扑下这两个操作之间存在某种干扰无法像在标准Transformer上那样自由叠加。**七、重要结论没有万能向导选择需匹配约束**经过所有这些实验研究团队得出了一系列清晰而实用的结论将这些结论组织成一个三层的推荐向导排名。第一层推荐Tier I是在当前基准协议下最普遍可靠的方法AdamW作为默认参考基准任何其他方法都应以AdamW为起点来衡量额外价值RMNP作为在质量和效率之间最均衡的矩阵结构方法在不需要过高运行时间代价的前提下能获得接近Muon的质量Muon作为机制透明、适合进一步研究的矩阵结构方法需要对目标架构有所了解才能用好。第二层推荐Tier II是在特定场景下有明确优势但不适合作为通用默认选项的方法SOAP是追求极致长序列质量时的上限参考代价是极高的运行时间和内存APOLLO是短序列内存受限场景下的高收益方案但必须额外验证长序列性能MARS-AdamW、AdamP等在特定设置下稳定但不能主导第一阶段的质量-效率前沿。第三层Tier III是在当前协议下表现较弱或过于场景特定的方法包括RAdam、NAdam、AdaBelief、Prodigy、GaLore、Shampoo、8-bit Adam、CAME、AdaFactor、Adam-mini、LAMB、Sophia。这不意味着它们永远无用而是在本次测试协议下它们没有展现出足够显著的综合价值。研究团队特别强调这份排名不是一个静态的全局最优答案而是一个基于约束的决策框架。当你的主要约束是训练稳定性时T1是最安全的家族当约束是追求极致长序列质量且不在乎成本时T2尤其SOAP是上限当约束是短序列的内存极限时T4有优势但需要长序列验证当约束是最低的每步成本时T3Lion是选项但质量要打折扣。研究团队还提炼了几个关于叠加原则的技术经验。不同轴或不同流水线步骤的机制通常可以自由叠加方差缩减第二轴可以叠加到任何方向构造方法上低秩投影T2.3和状态量化T4.2可以叠加后处理滤波器T5.3可以包装任何基础优化器层级信任比例T5.4可以包装逐元素自适应更新。争用同一步骤的机制则需要规定顺序两个强S2矩阵约束谱正交化和低秩投影不能自由组合必须指定谁先谁后二者的不同顺序导致不同的更新方向和内存占用。说到底这项研究的核心贡献不是告诉你用哪个优化器最好而是建立了一套坐标系让你能够清晰地描述每个方法改变了什么预测两个方法叠加时会发生什么以及理解为什么某个方法在某种场景下成功而在另一个场景下失败。优化器的选择本质上是一道用有限的计算和内存预算在你的架构和数据上爬上那座迷雾山峰的工程题而OmniOpt提供的是一张前所未有详细的地形图。有兴趣深入了解完整推导、公式和实验细节的读者可以通过arXiv:2607.04033找到原论文所有实验代码和模型权重也在论文附带的代码仓库和Hugging Face页面上开放。QAQ1OmniOpt研究中为什么APOLLO在短序列训练中表现最好在长序列训练中却最差AAPOLLO通过随机投影把梯度压缩到低维子空间来节省内存。短序列时梯度的有效信息维度本身就低这种压缩几乎不损失信息所以效果很好。长序列时模型要捕捉更长距离的依赖关系梯度的有效秩随之升高固定维度的投影就开始丢失越来越多关键信息导致更新质量急剧下降。这是T4状态压缩家族的共性限制压缩带来的收益本质上受梯度有效秩约束。Q2训练大模型时应该优先选择哪种优化器A没有普遍最优的选择应匹配训练的主要约束。如果没有特殊需求AdamW是最稳定的默认基准。追求质量且内存和时间不是瓶颈可以考虑SOAP。内存极度紧张但序列不长APOLLO值得尝试但需验证长序列性能。想要比AdamW更好的质量同时不付出过高代价RMNP是本研究中最均衡的选择。Q3Muon优化器的核心是什么为什么在某些架构上比AdamW好很多AMuon的核心是Newton-Schulz谱正交化它把梯度动量变换成一个所有奇异值都等于1的正交矩阵方向相当于只保留方向信息而抹平大小差异从几何上说是在谱范数球内做最陡下降。这在标准Transformer的注意力矩阵上效果好因为这些矩阵的梯度具有清晰的行列相关结构。但在GLA等线性注意力架构上效果更好而在CNN等非矩阵主导架构上优势不明显说明它的有效性深度依赖目标架构的参数拓扑。