简单到令人惊讶的自我回顾：不用 RL 也能改进
来自 arXiv · 期号 2026-09-29
摘要
语言模型 agent 能不能只靠回顾自己的经历来改进？ROFT 把这件事做到了极致：agent 先试一次任务，然后写一段回顾解释，模型只在这段解释上做 next-token prediction 微调，不用外部教师信号，也不用基于奖励的策略更新。 在 SWE-bench Verified 和 Pro 上，Qwen3.5-4B 用 ROFT 跑了 20 轮，分别达到 49.2% 和 26.8% 的解决率，而 GRPO 跑了 40 轮才到 48.0% 和 25.3%。ROFT 还能学会解决那些 baseline 64 次尝试全部失败的任务——说明学习不需要从成功轨迹开始。 行为分析发现，ROFT 间接给动作分配了信用：鼓励好的、抑制错的。而且，如果提示回顾时强调更直接的解法，后续尝试会自动变短，不需要显式的长度惩罚。 论文附了开源代码。