一句话总结Muon 省的是「数据」不一定是「时间」更不一定是「调参精力」。单卡 A100 实测等 token 它全胜20 组配对测试也全赢等墙钟时间时视觉大胜、语言反被 AdamW 反超——因为参考实现里 Muon 优化器一步就吃掉 56%~70% 的训练时间调参预算受限时它的期望损失接近 AdamW 的两倍。换优化器前先把这三本账算清。导语你说服老板换 Muon 的理由经得起追问吗先问一个可能戳到你的问题如果明天有人拿着「Muon 省 20% 算力」的推文劝你把训练脚本里的 AdamW 换掉你会怎么回这两年 Muon矩阵优化器把动量矩阵做近似正交化后再更新在 LLM 预训练圈子里声势很猛Kimi 系的 Moonlight、不少大模型实验都报告「单位算力的训练 loss 更低」。听起来像免费午餐——同样的数据更低的损失换谁不心动但「省」这个词在训练里至少有三个完全不同的意思省数据同样的 token 数loss 更低省时间同样的墙钟时长loss 更低省调参更少的试错次数找到够好的超参。这三个排名可以不一致。Muon 每一步都要跑 5 次牛顿-schulz 迭代一种把矩阵「推向正交」的多轮矩阵乘法优化器本身就变贵了它对学习率还更敏感调参也更费。只报「等数据」曲线的对比就像只告诉你新车省油、却不说车价和保养——账没算完。来自卡塔尔哈马德·本·哈利法大学与阿曼苏丹卡布斯大学的团队在 NeurIPS 2026 优化机器学习工作坊OPT2026发的这篇论文就是把这三本账放在同一个严格协议下算了一遍。结论有点反直觉但对每个正在选优化器的人都值回票价。想看原文的资源在这 论文arXiv 2610.21555 收录NeurIPS 2026 Workshop on Optimization for Machine LearningOPT2026 参考 Muon 原始实现Keller Jordan 的技术笔记实验怎么搭的小模型但记账方式很讲究先说清楚实验规模免得有人拿着结论过度外推作者用了 4 个负载全部在单张 A100 上跑。两个语言模型decoder-only Transformer上下文 256吃 FineWeb-Edu 的 1 亿 token 确定性子集——一个 6 层 17.7M 参数micro一个 8 层 33.6M 参数small各训 5000 步两个视觉模型同一个 2.7M 参数的 6 层 ViT4×4 patch分别在均衡 CIFAR-1004.5 万样本和 100:1 长尾 CIFAR-1009754 样本上训 100 个 epoch。模型不大但协议设计是这篇论文最值钱的部分。整套流程分三步走开发期选超参每个「负载 × 优化器」组合给 23 个候选配置的预算单种子跑开发集按「数据归一化的验证损失 AUC损失曲线下的面积越低越好衡量整个训练过程的综合表现」选出最优配置全程确认选中的配置在 5 个固定种子101–105上从头跑完记录等数据和等时间两条验证曲线并用 CUDA 事件精确测量「优化器这一步」吃了多少时间冻结测试在碰官方测试集之前把所有检查点、评估规则、分析脚本全部冻结测试只跑一次、不许回头改任何东西——40 个主评估2 优化器 × 4 负载 × 5 种子一次性出结果。第三步值得单独点赞。深度学习圈「先看测试集再调方法」的隐性作弊太常见了这里用「一次性冻结测试」把后门焊死了。配对种子设计同种子下两个优化器吃完全相同的数据顺序和初始化也让对比更干净——差异不会被随机性淹没。Muon 的参数路由遵循社区参考实现只管隐层的注意力和前馈投影矩阵含融合的 QKVembedding、归一化、偏置和输出头仍交给一个「辅助 AdamW」。这意味着语言模型里其实只有 26.7%~42.2% 的参数走 Muon——记住这个细节后面有用。第一本账等数据Muon 全胜先给结论只要比「谁用更少的 token 达到更低的损失」Muon 四个负载全赢。语言两个模型验证损失 AUC 分别降 3.25% 和 4.46%——有优势但温和视觉两个模型降 16.98% 和 22.44%——相当可观更关键的是稳定性20 组配对训练轨迹每一组都在早期就出现 Muon 持续领先 1% 以上的交叉点无一例外。而且这不是「验证集上的花活」。冻结测试集上Muon 在全部 20 个配对种子里都更低语言困惑度最多降 32%视觉准确率最多涨 7.4 个百分点长尾任务上的最差组准确率也涨了 2 个百分点。四个负载平均的测试损失相对降幅 12.33%。到这一步Muon 的基本盘坐实了同样多的数据它确实学得更好。如果你的训练瓶颈是「数据量有限、时间不限」比如数据集就那么大跑多久无所谓看到这里就可以考虑换了。但训练资源紧张的团队账才刚算到一半。第二本账等时间语言任务翻车了现在换个比法两边给同样的墙钟时间谁能把损失压得更低答案是视觉任务 Muon 大胜时间归一化 AUC 好 19.7%22.3%语言任务 AdamW 反超好 3.4%7.0%。同一张图 1 里的橙色斜纹柱语言那两格直接跌到零线以下。为什么数据上的全胜选手一到时间维度就在语言任务上输了作者用 CUDA 事件把优化器这一步的耗时单独掐了出来账目相当扎眼负载吞吐比Muon/AdamWAdamW 优化器时间占比Muon 优化器时间占比语言 micro0.3778.8%63.1%语言 small0.4689.1%56.1%视觉 balanced0.3397.4%69.6%视觉 long-tail0.4146.1%63.1%看明白了吗参考实现里Muon 的优化器调用含那个辅助 AdamW占据了整个训练时间的 56%~70%——每一步更新参数之前要先对一堆矩阵各跑 5 次牛顿-schulz 迭代全是矩阵乘。于是 Muon 的整体吞吐只剩 AdamW 的 34%~47%。这就是「break-even」的直觉同样的墙钟时间里Muon 处理的数据量只有 AdamW 的一半上下。视觉任务数据效率的增益17%22%远大于这个吞吐缺口所以还是 Muon 赢语言任务的增益3%4.5%盖不住缺口于是 AdamW 反超。换句话说数据优势是真的但要先付一笔「优化器税」你的任务增益够不够抵税得算数。有个细节值得琢磨视觉的 ViT 只有 2.7M 参数其中 2.65M 全是 Muon 能管的矩阵——辅助 AdamW 几乎没事干语言模型里 Muon 只覆盖不到一半参数辅助 AdamW 还要给大头的 embedding 和输出头再算一遍。矩阵形状小、数量多时参考核的利用率也上不去。这些都意味着这笔税是「参考实现」的属性不是 Muon 理论的下限。论文自己引用了旁证——8B 模型加张量并行后MuonBP 的吞吐惩罚小得多、甚至有实现做到了吞吐 8%。内核优化、减少牛顿-schulz 步数、限制路由范围都能把税率打下来后面有数字。第三本账调参预算Muon 更「挑」第三本账最少有人算但对小团队最现实你的调参预算只有几次选哪个优化器更稳作者把每个优化器的 23 个候选配置随机排序一万次模拟「只给你前 k 次评测机会」的场景统计期望的验证 AUC 损失regret错过最优配置的代价只有 1 次评测机会Muon 期望 regret 13.66%AdamW 7.52%——差出近一倍给到 5 次1.69% vs 0.42%Muon 还是更疼给到 10 次以上0.67% vs 0.09%都趋近于零。直观理解Muon 的好配置集中在特定的学习率区间里动量归一化后有效步长和 AdamW 不同量级随手一抓就抓中的概率更低。如果你只有一两次试验机会比如租卡按小时计费的小规模验证AdamW 的下限更稳一旦预算够做 10 次以上搜索这个差距基本消失。顺带一提图里的 Variance-Muon在正交化后叠加二阶矩自适应的变体regret 更大而且它在这套实验里改善语言和均衡视觉、却在长尾任务上把测试损失推高 11.7%——变体不是免费的多个机制就多一份调参负担。那到底什么时候换给你三张决策卡把三本账合起来我觉得这篇论文对实践者最有用的是把「要不要换 Muon」变成了三个具体的判断题你的瓶颈是数据还是时间数据贵、时间便宜小数据集随便跑Muon 的数据效率直接兑现时间紧大模型预训练、按时计费的云资源先测你实现里的优化器时间占比再说话你的增益类型是什么视觉/矩阵参数占比高的架构增益大、抵税能力强语言任务增益只有 3%~5%参考实现下大概率被税吃掉你的调参预算有多少只有一两次机会AdamW 稳十次以上Muon 的挑参数属性就不再是障碍。论文还顺手给了两个「减税」杠杆单种子审计数字仅供参考牛顿-schulz 从 5 步减到 3 步省 21.9% 训练时间、AUC 只损 0.74%只对部分大矩阵路由 Muon省 28%45% 时间、损失 1.1%2.8%。另外 25% 进度处从 AdamW 切换到 Muon 也能吃到大部分收益——这些工程手段都说明那笔「税」有相当大的压缩空间。泼冷水时间这份结论的保质期照例把不能外推的部分说清楚作者在论文里也反复强调了规模17.7M/33.6M 的语言模型、2.7M 的 ViT这是玩具级尺寸。大模型上优化器步进的相对成本、矩阵形状对核效率的影响都不同墙钟结论不能直接搬到你的 7B 训练上实现全部结论基于单卡参考核。论文自己引用了 8B 优化核下吞吐惩罚大幅缩小的反例——「语言等时间 AdamW 赢」的结论生命周期和参考核一样长协议残留超参用单种子选出、开发视界只有全程的 20%、交叉点只能解析到评估检查点粒度长尾那 26% 的最大效应也只来自一种 100:1 构造。我的看法是这篇论文最大的贡献不是告诉你「Muon 好还是 AdamW 好」而是示范了优化器选型的正确记账方式——等数据、等时间、等调参三条曲线一起看优化器耗时用 CUDA 事件单独归因测试集冻结到最后才碰。这套方法搬到你自己的负载上比任何一篇论文的结论都保值。至于 Muon 阵营MuonBP、DMuon、AdaMuon、NorMuon 这些优化实现能不能把那笔「优化器税」打穿让语言任务在等时间维度也翻回来是接下来一年最值得盯的悬案。下次再有人甩给你一条「Muon 省 30% 算力」的推文你可以优雅地反问一句省的是数据、时间还是调参——三本账缺一不可。