RetireOPD：agent 强化学习的自退休蒸馏
来自 arXiv · 期号 2026-09-18
摘要
多轮 agent 用强化学习训练时，每条轨迹只得到一个标量奖励，信号太稀疏。 已有的自监督蒸馏方案（OPD）让一个拥有任务特权信息的教师模型给学生提供逐 token 的密集监督，但在 agent 任务上效果不稳定：特权信息不一定让教师可靠，而且教师监督的好处随训练阶段变化。 RetireOPD 的做法是：先让一个解耦的、以技能为条件的教师模型用环境奖励做优化，然后让学生模型同时做强化学习和蒸馏。关键创新是「自适应退休」——学生一旦发现自己的表现与教师的差距不再缩小、且自身成功率已达到教师的某个目标比例，就自动丢掉教师，只用强化学习继续训练。 在 Qwen2.5 1.5B 到 7B 上，RetireOPD 在 ALFWorld 上比纯 RL 基线高 14.1% 到 18.8%，在 WebShop 上高 11.8% 到 19.0%，且在所有设置下都超过了它自己的技能条件教师。