预训练幂律的 3+3(+2) 调度图谱
来自 arXiv · 期号 2026-10-01
摘要
预训练中的幂律学习曲线并非固定不变，学习率和批次大小调度可以改变观测到的损失。 本文在带噪声的在线 SGD 与线性随机特征设定下，将损失分解为两个响应分量：一个传播未解决目标误差的“强迫项”，一个传播随机误差注入的“记忆核”。论文证明，每个分量遵循幂律当且仅当其累积加权谱质量具有对应的低谱缩放，单个特征值无需服从坐标级幂律。 在联合调度下，内在时间 $T_t=\sum_{s<t}η_s$ 控制优化进度，$r_t=B_t/η_t$ 控制噪声注入。两者的交互给出了调度保留、改变或破坏幂律的尖锐条件，以及噪声降低的记忆上限。 nanoGPT 实验表明：(1) 匹配 $B/η$ 路径的学习率与批次大小调度在内在时间上几乎等价；(2) 强迫-记忆代理能跨调度准确预测损失；(3) 拟合指数在真实数据集上标定了 LLM 在 $3+3(+2)$ 图谱中的位置。 论文附了开源代码。
深读
导读 预训练中观察到的幂律学习曲线并非固定不变，学习率和批次大小的调度可以显著改变损失下降的形态。这篇论文通过严格的数学分析，揭示了调度如何通过“内在时间”和“噪声注入率”两个控制变量保留、改变或破坏幂律，并在 nanoGPT 实验中验证了理论预测。读完能获得一个理解调度与缩放律关系的统一框架，以及一个可跨调度预测损失的代理模型。 关键信息 - 论文在带噪声的在线 SGD 与线性随机特征设定下，将损失分解为两个响应分量：传播未解决目标误差的“强迫项”和传播随机误差注入的“记忆核”。 - 证明每个分量遵循幂律当且仅当其累积加权谱质量具有对应的低谱缩放，单个特征值无需服从坐标级幂律。 - 引入内在时间 $T_t=\sum_{s<t}\eta_s$ 控制优化进度，$r_t=B_t/\eta_t$ 控制噪声注入，两者的交互给出了调度保留、改变或破坏幂律的尖锐条件。 - nanoGPT 实验表明：(1) 匹配 $B/\eta$ 路径的学习率与批次大小调度在内在时间上几乎等价；(2) 强迫-记忆代理能跨调度准确预测损失；(3) 拟合指数在真实数据集上标定了 LLM 在 $3+3(+2)$ 图谱中的位置。 逐节讲解 问题设定与分解方法 论文在带噪声的在线 SGD 与线性随机特征模型下展开分析。条件于表示后，一个精确的 Volterra 方程将损失分离为两个响应分量：强迫项传播未解决的目标误差，记忆核传播随机误差注入。这一分解是后续所有理论推导的基础。 幂律成立的条件 论文证明，强迫项或记忆核遵循幂律当且仅当其累积加权谱质量具有对应的低谱缩放。这意味着单个特征值或目标系数无需服从坐标级的幂律，整体谱质量才是关键。这一结论放宽了此前理论中对特征值分布的具体假设。 联合调度下的幂律行为 引入内在时间 $T_t=\sum_{s<t}\eta_s$ 和噪声注入率 $r_t=B_t/\eta_t$ 后，两者的交互给出了调度保留、改变或破坏幂律的尖锐条件。论文还给出了噪声降低的记忆上限，即记忆核限制了通过增大批次大小所能获得的收益。在这一框架下，幂律随机特征模型在 $3+3(+2)$ 传播图谱中实现了具有相位依赖计算率的机制。 nanoGPT 实验验证 在 nanoGPT 上的受控实验验证了三个核心预测：(1) 学习率和批次大小调度若匹配 $B/\eta$ 路径，则在内在时间上几乎等价；(2) 基于强迫-记忆的代理模型能跨不同调度准确预测损失；(3) 在真实数据集上拟合出的指数可以标定 LLM 在 $3+3(+2)$ 图谱中所处的区域。 值得注意 论文的数学分析建立在线性随机特征模型之上，这一设定与真实 Transformer 的非线性结构存在差距。理论结论在多大程度上能直接迁移到实际 LLM 预训练中，仍需进一步验证。此外，论文附有开源代码，但摘要中未说明代码是否包含 nanoGPT…