MeqMuon：矩阵均衡的 Muon 优化器
来自 arXiv · 期号 2026-09-29
摘要
大模型预训练成本越来越高。Muon 优化器表现不错，但它只做了行归一化，无法应对更新矩阵里各种不同的不平衡模式。 MeqMuon 在行和列两个方向上都做归一化，而且能自动适配不同的不平衡模式，不需要手动调参。同时它去掉了 AdamW 的二阶矩估计，省下了优化器状态的内存。 在 LLM 预训练上，MeqMuon 的收敛效果优于 AdamW、Muon 等基线。
来自 arXiv · 期号 2026-09-29
大模型预训练成本越来越高。Muon 优化器表现不错，但它只做了行归一化，无法应对更新矩阵里各种不同的不平衡模式。 MeqMuon 在行和列两个方向上都做归一化，而且能自动适配不同的不平衡模式，不需要手动调参。同时它去掉了 AdamW 的二阶矩估计，省下了优化器状态的内存。 在 LLM 预训练上，MeqMuon 的收敛效果优于 AdamW、Muon 等基线。
本站只做摘要与索引，全部内容版权归原作者所有。