分数居中稳定离策略强化学习
来自 arXiv · 期号 2026-09-18
摘要
大语言模型的强化学习对训练与推理引擎之间的微小差异（TIM）极其敏感，完全消除 TIM 会严重拖慢推理效率。 本文发现 TIM 下的不稳定性主要由“漂移”引起——训练与推理引擎之间的持续偏差随训练步数累积。作者提出一个加性的“分数居中”修正项，通过抵消漂移来稳定 RL。 在 0.6B 到 30B 参数的模型上，分数居中单独使用就能匹配或超越基于重要性采样的量化方法，且差距随失配加剧而扩大。由于是加性修正，它还能与重要性采样组合使用，在陈旧性实验中优于纯重要性采样基线。