统一 on-policy 蒸馏与 GRPO 的熵校准信用
来自 arXiv · 期号 2026-09-24
摘要
强化学习用最终答案的正确性来监督数学推理，但对中间每个 token 几乎没有指导。 一种思路是用教师模型对学生的每一步输出给出密集反馈（on-policy distillation），但教师的偏好不一定等于正确答案。 这篇论文把两种信号统一到一个 GRPO 风格的更新里：先在 response 层面把验证器奖励和教师路径的 log-ratio 合并，再做 group normalization 和 PPO 裁剪，让教师证据影响整条回答的排序；然后在 token 层面用教师与旧策略的差距来重新分配验证器奖励，同时用教师在全词表上的熵值衰减不确定的指导，再用零和投影保证每条回答的总任务奖励不变。 在五个数学推理 benchmark 上，用 Qwen3-1.7B 和 Qwen3-4B 做学生，Avg@12 分别达到 17.21% 和 65.09%，比各自规模的最强 baseline 高 0.89 和 0.56 个百分点。 论文附了开源代码。