舍入位置对齐稳定 LLM 强化学习
来自 arXiv · 期号 2026-10-24
摘要
大语言模型的强化学习训练中，推理和训练通常使用不同的系统。即使权重和 BF16 张量完全一致，实现上的细微差异也会导致本应是 on-policy 的更新变成 off-policy，从而破坏训练稳定性。 现有方案要么对齐整个推理和训练栈，要么改变全局精度或修改学习算法。这篇论文问的是：只对齐执行栈中的部分关键环节，能否在保留其他实现差异的前提下稳定 BF16 强化学习？ 作者在 RoPE、SwiGLU 和残差 RMSNorm 三个区域，将训练侧的舍入位置与推理侧对齐——具体做法是让这些区域的中间结果保留 FP32 精度，直到输出 BF16 张量。在四个 Qwen 系列模型上，对齐全部三个区域可以防止默认 BF16 基线下的训练崩溃；仅对齐 RoPE 路径也足以稳定训练，尽管其他数值差异仍然存在。 这些干预措施不改变推理引擎、矩阵乘法核、注意力核以及学习目标。