在线蒸馏后接强化学习优于联合优化
来自 arXiv · 期号 2026-09-04
摘要
大语言模型的后训练阶段，主流方法有两种：带可验证奖励的强化学习（RLVR）和在线策略蒸馏（OPD）。前者奖励稀疏但信号真实，后者提供密集的 token 级监督。 此前的工作试图在一个步骤里融合两种信号，要么加权相加，要么用教师模型重新缩放 RL 优势。这篇论文发现，一个更简单的两阶段方案——先 OPD 再 RL——在逻辑和数学推理基准上一致优于纯 OPD、纯 RLVR 以及所有联合基线。 机制解释是：OPD 先扩大学生模型对教师支持解的覆盖范围，RL 再在这个范围内做精炼；如果同时优化两个信号，它们会互相干扰。 实用建议：OPD 的验证分数是切换到 RL 的关键信号，且 OPD 比 SFT 更适合作为 RL 的冷启动。 论文在多个推理基准上做了系统对比，并给出了学习动态和参数更新的分析。
深读
导读 这篇论文挑战了当前大语言模型后训练的主流做法。此前的工作试图在一个步骤内融合带可验证奖励的强化学习（RLVR）与在线策略蒸馏（OPD）两种信号，而这篇论文发现，一个更简单的两阶段方案，先做 OPD、再做 RL——在逻辑和数学推理基准上一致优于所有单阶段方法。读完能带走一个清晰的实用结论：两种信号不该同时优化，而应分阶段互补。 关键信息 - 论文对比了四种方案：纯 OPD、纯 RLVR、联合基线（加权相加 / 教师模型重新缩放 RL 优势）、以及两阶段方案 OPD-then-RL。 - 两阶段方案在逻辑和数学推理基准上一致优于所有对比方案。 - 机制解释是：OPD 扩大学生模型对教师支持解的覆盖范围，RL 在这个范围内做精炼；同时优化两个信号会导致它们互相干扰。 - 实用建议：OPD 的验证分数是切换到 RL 的关键信号，且 OPD 比 SFT 更适合作为 RL 的冷启动。 逐节讲解 背景：后训练的两种主流信号 大语言模型的后训练阶段有两种主流方法。RLVR 提供基于可验证奖励的稀疏信号，模型只在最终答案正确时获得奖励，中间每一步没有反馈。OPD 则提供密集的 token 级监督，教师模型在每一步给出指导。两种信号各有优劣：RLVR 信号真实但稀疏，OPD 监督密集但依赖教师模型。 此前做法：在一个步骤内融合 此前的工作试图在一个步骤内同时利用两种信号，融合方式有两种：加权相加（weighted-additive combination）和用教师模型重新缩放 RL 优势（teacher-modulated rescaling）。论文称这些为联合基线（joint baselines）。 本文方案：先 OPD 再 RL 论文提出一个更简单的两阶段方案：先做 OPD，再做 RL。实验表明，这个方案在逻辑和数学推理基准上一致优于纯 OPD、纯 RLVR 以及所有联合基线。论文通过 pass@k 行为、学习动态和参数更新三个角度给出了机制解释：OPD 先扩大学生模型对教师支持解的覆盖范围，RL 再在这个范围内做精炼；如果同时优化两个信号，它们会互相干扰。 实用建议 论文给出了一个具体的使用配方：OPD 的验证分数是决定何时切换到 RL 的关键信号，且 OPD 比 SFT 更适合作为 RL 的冷启动。 值得注意 本文基于论文摘要，原文正文仅 1266 字符，内容高度浓缩。论文声称的机制解释（OPD 扩大覆盖、RL 精炼）在摘要中只有结论性描述，没有展示具体的实验数据或可视化结果。此外，论文没有说明实验所用的模型规模、基准数据集的具体名称、以及对比基线的超参数设置是否公平，这些细节需要阅读全文才能评估。