DRACO：长周期 agent 训练的细粒度信用分配
来自 arXiv · 期号 2026-09-04
摘要
多数长周期 agent 任务没有程序化的成功检查器，强化学习缺少奖励信号。 DRACO 的做法是：训练中动态生成多维度评分标准（rubrics），每完成一条轨迹打一次分，再用闭式公式把分数分摊到各步骤上，作为 GRPO 的逐步优势信号。整个过程不需要额外的归因模型。 在 AppWorld 上比基础模型高 15.9 个点，比用稀疏真实奖励训练的 GRPO 高 5.3 个点，且自身没用任何 verifier。在未见过的 Tau-Bench 上，即使没有前沿模型做裁判，也比基础模型高 5.3 个点。 论文附了开源代码。
深读
导读 长周期 agent 任务普遍缺少程序化的成功检查器，导致强化学习缺乏奖励信号。DRACO 提出一种无需额外归因模型的方案：在训练中动态生成多维评分标准（rubrics），将单条轨迹的评分通过闭式公式分摊到各步骤，作为 GRPO 的逐步优势信号。在 AppWorld 上比基础模型高 15.9 个点，且自身未使用任何 verifier。 关键信息 - DRACO 在 AppWorld 上比基础模型高 15.9 个点，比使用稀疏真实奖励训练的 GRPO 高 5.3 个点，且自身未使用任何 verifier。 - 在未见过的 Tau-Bench 上，即使没有前沿模型做裁判，DRACO 也比基础模型高 5.3 个点，同时优于使用真实奖励的训练和其他基于 rubric 的训练设置。 - DRACO 的 credit redistribution 是闭式公式，不引入任何额外的归因模型。 - 代码已开源：https://github.com/IBM/draco。 逐节讲解 问题背景：长周期 agent 任务缺少可验证奖励 基于可验证奖励的强化学习（RLVR）在任务有程序化检查器时效果很好，但大多数长周期 agent 领域没有这类检查器。论文工作在 outcome-blind 设定下，即 ground-truth 的成功信号不可用。 DRACO 的核心方法：动态生成评分标准并分摊优势 多维度评分标准（rubrics）是提供奖励的常见方式，但每条轨迹只得到一个标量分数，对数十步的 agent 来说信号过于稀疏。DRACO 的做法是：在训练中动态生成 rubrics，以跟踪策略不断变化的能力；每条轨迹完成后对 rubrics 打分；然后通过闭式公式将分数重新分配给负责这些 rubrics 的步骤，为 GRPO 提供差异化的逐步骤优势信号。整个过程不需要训练归因模块。 实验结果：在 AppWorld 和 Tau-Bench 上均优于基线 在 AppWorld 上，DRACO 比基础模型高 15.9 个点，比使用稀疏真实奖励训练的 GRPO 高 5.3 个点，且自身未使用任何 verifier。在未见过的 Tau-Bench 上，即使没有前沿模型做裁判，DRACO 也比基础模型高 5.3 个点，同时优于使用真实奖励的训练和其他基于 rubric 的训练设置。 值得注意 原文是论文摘要，信息有限。DRACO 的具体实现细节（如 rubrics 的动态生成机制、闭式公式的具体形式、GRPO 的配置）在摘要中未展开。实验部分只报告了 AppWorld 和 Tau-Bench 两个 benchmark 的结果，未见其他任务或消融实验。