从 LR 到 ELR：预训练动力学的更好启发式
来自 Tencent Hunyuan Research · 期号 2026-08-06
摘要
腾讯混元提出用有效学习率（ELR）替代传统学习率（LR），作为控制大模型预训练方向更新步长的更好启发式。 在带归一化层的模型中，很多权重是尺度不变的——方向比大小更重要。传统 LR 不直接控制方向变化，调参困难。ELR 通过归一化更新步长，直接控制角度更新大小（AUS），让方向变化可预测。 实验表明：ELR 能更准确地预测损失（基于多幂律模型），且最优 ELR 在不同模型宽度和深度之间迁移更可靠。基于 ELR 提出的负平方根调度，在 Modded-nanoGPT Track 3 上以 3175 步达到 3.28 验证损失，比此前 MuonH 最优记录快 75 步。 论文还揭示了 ELR 与 Hyperball 优化器的内在联系：Hyperball 中的 LR 隐式充当 ELR，回放 AUS 轨迹作为 LR 调度，能复现几乎相同的损失曲线。 本文是研究博客，附有完整的数学推导和实验图表。