《A Survey on Muon Optimizer Variants and Analysis》这篇综述系统性梳理 Muon 系列矩阵几何优化器的发展脉络,Muon 和 AdamW 这类逐元素自适应优化器不一样,它核心是对动量矩阵做正交化、取极因子,保留更新方向、抹平奇异值尺度,在 LLM 预训练场景能大幅降低同等损失下的算力开销;综述把 AdaMuon、NorMuon、MuonMax、Muon-MVR、Turbo-Muon 等主流变体按优化目标归类,对比它们在收敛速度、显存开销、学习率鲁棒性、神经元利用率上的差异,同时补齐 Muon 原本理论短板,分析非凸随机场景下的收敛阶、噪声鲁棒性,也点明 Muon 系列只能作用于二维矩阵权重,偏置、归一化一维参数还需要搭配 AdamW,选型的时候要区分预训练、微调、大 MoE 模型不同场景。
一、Muon 基础原理
- 核心操作:动量矩阵经过 Newton-Schulz 迭代近似极分解,输出正交更新矩阵 UVᵀ,舍弃奇异值 Σ 的大小信息,做谱范数意义下的最速下降
- 内存特点:只保存一阶动量缓存,不需要二阶矩,优化器状态显存大约是 AdamW 一半
- 原生局限:只适配二维矩阵参数(Transformer 线性层权重),embedding、bias、LN 一维参数不能直接用 Muon
- 原生短板:没有逐元素自适应,矩形矩阵行更新方差不均衡,容易出现神经元休眠;对学习率敏感
二、综述重点收录的 Muon 主流变体清单
- AdaMuon:正交更新基础上增加 Adam 风格二阶矩自适应,补上 Muon 缺少逐元素调节的短板,微调场景收益明显
- NorMuon:对极因子每行做 RMS 归一化,解决矩形矩阵各行更新幅度差异大、神经元利用率偏低的问题
- MuonMax:引入核范数统计,扩大有效学习率可选区间,对超参调参更友好,稳定性更强
- Muon-MVR(Muon-VR):方差缩减版本,提升随机梯度下收敛阶,理论上收敛速度优于原版 Muon
- Turbo-Muon:优化 Newton-Schulz 迭代步数、计算调度,降低正交化步骤的额外算力开销
- MuonAll:把一维参数重塑为二维形式,实现全参数统一 Muon 谱更新,消除混合优化器依赖
- MuonClip:增加注意力分数约束,面向万亿参数大模型、MoE 模型做训练稳定化
三、主流优化器与 Muon 变体对比简表
| 优化器 / 变体 | 核心改进 | 内存开销 | 优势场景 | 主要短板 |
|---|---|---|---|---|
| 原版 Muon | 动量矩阵正交化,极因子更新 | 低(单动量缓存) | LLM 预训练、算力最优训练 | 学习率敏感、一维参数不支持、神经元休眠风险 |
| AdaMuon | 正交 + 二阶矩自适应 | 中等 | 下游微调、小数据续训 | 开销上涨,预训练收益有限 |
| NorMuon | 行 RMS 归一化 | 低 | 多层 MLP、高矩形比例权重层 | 改动矩阵几何,部分任务收敛变慢 |
| MuonMax | 核范数归一,学习率鲁棒 | 低 | 快速调参、新手复现实验 | 理论收敛上限没有提升 |
| AdamW | 逐元素一阶、二阶矩自适应 | 高(双缓存) | 一维参数、embedding、传统微调 | 同等损失算力消耗更高 |
| Shampoo | 分块协方差预条件 | 很高 | 二阶预条件需求场景 | 计算、显存成本昂贵 |
四、综述总结的理论结论
- 原版 Muon 在普通随机非凸场景收敛阶只有 O (T^(-1/4));带方差缩减的 Muon-MVR 可以提升到 O (T^(-1/3)),达到该类方法理论下界
- Muon 等价于无动量 Shampoo 的矩阵符号更新,二者底层几何框架相通,只是 Muon 用 Newton-Schulz 迭代大幅简化计算
- Muon 的优势窗口和数据量强相关:数据预算比较小时 Muon 预训练效率更高;海量 token 训练后,AdamW 在微调后泛化有可能反超 Muon
五、落地选型避坑要点
✅ 纯预训练大模型、优先省算力:原版 Muon 或者 MuonMax,一维参数搭配 AdamW 混合训练
✅ 要做 SFT 微调、指令对齐:优先 AdaMuon
✅ MLP 层数多、矩形权重很多:优先 NorMuon,减少死掉神经元
⚠️ Muon 系列的正交化迭代会带来额外 step 开销,小模型、短训练任务,总耗时收益不一定划算
⚠️ 分布式 ZeRO 分片场景,矩阵正交化的通信开销会放大,需要配套专门的通信优化
⚠️ 不同变体之间的最优学习率差距很大,不能直接把原版 Muon 的 lr 直接迁移
【相关 FAQ】
问题 1:Muon 优化器和 AdamW 核心差别是什么?
回答 1:AdamW 是逐元素自适应梯度更新,Muon 优化器属于矩阵谱优化,对动量矩阵做正交极分解,利用权重矩阵几何信息,同等预训练损失下可以节省大量算力,但 Muon 优化器无法直接用于一维参数。
问题 2:AdaMuon 这个 Muon 变体主要解决原版 Muon 的什么缺陷?
回答 2:AdaMuon 变体在 Muon 正交更新的基础上引入二阶矩自适应,解决原版 Muon 缺少逐元素调节、微调场景适配差的短板,是面向 SFT 微调的 Muon 优化器衍生方案。
问题 3:Muon-MVR 相比原版 Muon,在理论收敛上提升在哪里?
回答 3:Muon-MVR 也就是方差缩减 Muon 变体,综述证明它把随机非凸场景收敛阶从原版 Muon 的 O (T^(-1/4)) 提升到 O (T^(-1/3)),是收敛性能更强的 Muon 优化器版本。
问题 4:Muon 能不能直接给 Embedding、偏置这类一维参数使用?
回答 4:原版 Muon 优化器只能处理二维矩阵权重,Embedding、bias、归一化参数这类一维张量不能直接使用;MuonAll 变体通过重塑维度,尝试让 Muon 优化器覆盖全部参数。
【参考资料】
[2026-06-26](A Survey on Muon Optimizer Variants and Analysis)arXiv
[2026-11-22](Muon 优化器变体综述:矩阵几何路线梳理)阿里云开发者社区
[2026-05-10](MUON IS SCALABLE FOR LLM TRAINING)arXiv
[2026-07-02](Muon、Shampoo、SOAP 谱优化器对比综述解读)PyTorch 社区
【免责声明】
本文仅为这篇 Muon 优化器变体综述的学术内容解读,综述内收敛结论、评测结果是论文作者的理论与实验结论;Muon 及其变体属于快速迭代的前沿优化器,不同框架、并行策略、模型结构下实测效果会发生变化;本文不构成大模型训练的优化器选型、超参配置的确定性建议,正式训练前请自行做小规模对照实验。
