哪个 rollout 教会了它？BehaviorTrac
来自 arXiv · 期号 2026-10-08
摘要
强化学习教会了语言模型一个新行为后，我们能否找到是哪些训练 rollout 教会了它？ 这篇论文用 GRPO 做在线 RL 微调，在 Qwen2.5-1.5B 上植入了一个已知原因的行为，然后测试各种归因方法能否把它找出来。结果发现，大部分看似有效的归因信号来自混杂因素：一个只按梯度大小排序、完全不看行为目标的控制方法，在三组种子中的两组上达到了 4.2 到 4.5 倍随机水平，追平甚至超过了最好的定向归因器。在饱和检查点上，模型流畅度对行为标签的预测能力不亚于任何梯度方法。 唯一在三组种子上都成立的信号是：触发 token 的梯度与行为实际发生位置的目标对齐。 论文发布了 BehaviorTrace 评测框架，并给出了一套评估 RL 归因方法的检查清单。
深读
导读 这篇论文研究了一个关键问题：当在线强化学习教会语言模型一个新行为后，能否追溯到是哪些训练 rollout 教会了它？它通过植入一个已知原因的行为，系统性地测试了现有归因方法的可靠性，发现大部分看似有效的信号来自混杂因素。读完你会得到一个评估 RL 归因方法的检查清单，以及一个清醒的认识，当前方法远不如看起来那么可靠。 关键信息 - 论文在 Qwen2.5-1.5B 上使用 GRPO 做在线 RL 微调，植入了一个已知原因的行为，以此作为归因测试的 ground truth。 - 一个只按梯度大小排序、完全不看行为目标的控制方法，在三组种子中的两组上达到了 4.2 到 4.5 倍随机水平，追平甚至超过了最好的定向归因器。 - 在饱和检查点上，模型流畅度对行为标签的预测能力不亚于任何被比较的梯度方法。 - 唯一在三组种子上都成立的信号是：触发 token 的梯度与行为实际发生位置的目标对齐。 - 论文发布了 BehaviorTrace 评测框架，并测试了 GAS（重归一化的 TracInCP）和 TRAK 风格的估计器，未提出新的归因方法。 逐节讲解 研究问题与实验设计 论文的核心问题是：在线 RL 教会模型一个新行为后，能否找到是哪些训练 rollout 教会了它？以及，当一个归因方法声称能做到时，如何验证这个答案是真实的。作者采用了一种“植入行为”的实验设计，在 Qwen2.5-1.5B 上使用 GRPO 进行在线 RL 微调，植入一个已知原因的行为，这样就有了 ground truth，可以检验归因方法能否把它找出来。论文发布了 BehaviorTrace 评测框架，结合了全梯度素描、植入行为设置，以及针对梯度大小、流畅度、headroom、种子和生成抽样的控制。 混杂因素：梯度大小与流畅度 实验发现，大部分看似有效的归因信号来自混杂因素。一个只按梯度大小排序训练步骤、完全不看行为目标的控制方法，在三组种子中的两组上达到了 4.2 到 4.5 倍随机水平，追平甚至超过了最好的定向归因器。这意味着，仅仅因为某些训练步骤的梯度大，它们就会被归因器标记为“重要”，而实际上它们可能与目标行为无关。此外，在饱和检查点上，模型流畅度对行为标签的预测能力不亚于任何被比较的梯度方法，也就是说，模型说得好不好，比梯度方法更能预测它会不会表现出目标行为。 唯一稳定的信号与结论 一旦控制了流畅度，每个 rollout 的归因结果会因种子和生成抽样的不同而变化，因此单次运行无法给出可靠答案。唯一在三组种子上都成立的信号是：触发 token 的梯度与行为实际发生位置的目标对齐。论文将这些发现总结为一个评估 RL 归因方法的检查清单，并测试了 GAS（重归一化的 TracInCP）和 TRAK 风格的估计器，未提出新的归因方法。 值得注意 这篇论文的结论建立在 Qwen2.5-…