谱分配：Muon 为何优于 Adam 以及如何改进
来自 arXiv · 期号 2026-08-27
摘要
Muon 在 LLM 预训练中优于 Adam，但原因一直不清楚。 这篇论文通过谱分析找到了答案：Transformer 的损失景观有一个稳定的结构——头部区域很敏感，只能走小步；主体区域很宽容，可以走大步。Muon 对所有方向统一缩放，主体区域仍然没被充分利用。 作者提出 Spectral-Aware Muon（SAMuon），用一个静态谱先验来放大主体区域的步长，完整版用低秩随机 SVD 实现，简化版 SAMuon-lite 用 rank-one 幂迭代。两种变体都不增加持久优化器状态，也不显著增加计算量。 在 124M 到 1B 参数的模型上，SAMuon 比 Muon 少用 13.3% 到 24.0% 的训练 token 就能达到相同的验证损失，SAMuon-lite 几乎保留了全部收益，且几乎没有额外开销。
深读
导读 这篇论文通过谱分析揭示了 Muon 优化器相对于 Adam 的优势来源，并指出了 Muon 的固有局限。基于此，作者提出了谱感知 Muon（SAMuon），通过静态谱先验放大对损失景观中“主体”部分的步长，在 124M 至 1B 参数模型上相比 Muon 节省了 13.3%–24.0% 的训练 token。对于关注大模型预训练效率的从业者，这篇论文提供了一个从优化器设计角度压缩训练成本的新思路。 关键信息 - 论文通过留出样本谱分析（out-of-sample spectral probing）分解 Transformer 损失景观，发现其谱分布是各向异性的：一个不稳定的“头部”区域在稳定性边界（Edge-of-Stability）上运行，只能支持很小的步长；而容忍度高的“主体”区域则允许大得多的步长。 - 该谱分布在不同批次、训练阶段、优化器和模型规模下保持稳定，为 Muon 优于 Adam、Adam 优于 SGD 提供了一个统一的“谱分配”解释。 - 基于这一发现，作者提出 SAMuon：保持头部步长在 Muon 的水平，同时使用静态谱先验放大主体步长。完整版通过低秩随机 SVD 实现，简化版 SAMuon-lite 则使用秩一幂迭代的两级近似。 - 在 124M 到 1B 参数的“modded-nanogpt”模型上，SAMuon 和 SAMuon-lite 在所有评估的模型规模和批次大小配置下均优于调优后的 AdamW 和 Muon（Scion 实现）基线。 - SAMuon 达到与 Muon 相同验证损失所需的训练 token 减少了 13.3% 到 24.0%，且 SAMuon-lite 几乎无额外时间开销。 逐节讲解 研究动机与谱分析发现 论文首先指出，Muon 等正交优化器相比 Adam 能显著加速大语言模型预训练，但其机制尚未被完全理解。作者通过一种留出样本谱分析方法来探究这一问题：在真实训练轨迹的检查点上，将每个动量缓冲分解为奇异方向，并在留出数据上估计每个方向上的损失最优步长。结果发现，损失景观的谱分布是各向异性的：一个不稳定的“头部”区域在稳定性边界上运行，只能支持很小的步长；而容忍度高的“主体”区域则允许大得多的步长。这一谱分布在批次、训练阶段、优化器和模型规模下均保持稳定。 统一解释与 Muon 的局限 该谱分布提供了一个统一的“谱分配”解释，说明为何 Muon 优于 Adam、Adam 优于 SGD。然而，它也暴露了 Muon 均匀缩放策略的局限：Muon 仍然未能充分利用主体区域的步长潜力。这正是 SAMuon 的改进切入点。 SAMuon 的设计与性能 基于上述发现，作者提出谱感知 Muon（SAMuon），其核心思路是保持头部步长在 Muon 的水平，同时使用静态谱先验放大主体步长。论文提供了两个变体：完整版 SAM…