在它们能解题之前：从基础模型预测训练后编码 agent
来自 arXiv · 期号 2026-10-08
摘要
训练一个能写代码的 agent 成本很高，但怎么知道哪个基础模型值得投入这笔钱？ 直接跑 end-to-end pass@K 不行：很多基础模型连正确的工具调用都做不出来，根本走不到最后。短任务又绕开了核心能力——多步交互中保持状态。 这篇论文提出一个思路：把训练好的 agent 的成功轨迹当作信号，回放每一步，找到那个让仓库从「失败」翻到「通过」的关键步骤。然后在这个步骤上设三道筛子，不需要基础模型从头跑一遍：一是看模型给正确动作分配了多少概率（BPB），二是让模型在正确动作和被拒绝的替代方案之间做选择（Patch MCQ），三是看模型在给定前缀后能否生成测试能通过的代码（prefix-conditioned pass@K）。 在十组基础模型与训练后模型的对比上，这三道筛子的排序结果和最终 SWE-bench Verified pass@1 高度一致。 论文附了开源代码。
深读
导读 训练一个能写代码的 agent 成本高昂，但如何提前判断哪个基础模型值得投入这笔钱？这篇论文提出一套无需完整跑完 agent 流程的预测方法，通过回放成功轨迹、定位关键步骤并设置三道筛子，就能在十组模型上给出与最终 SWE-bench Verified pass@1 高度一致的排序。对于需要做模型选型或 agent 训练的团队，这是一个节省大量算力的实用思路。 关键信息 - 论文来自 Cornell University，作者包括 Tan Yu、Alexander Bukharin 等，发表于 arXiv。 - 核心问题：如何在不进行完整 agent 后训练的前提下，预测哪个基础 checkpoint 值得投入昂贵的后训练。 - 直接跑 end-to-end pass@K 不适用，因为许多基础模型无法可靠生成格式正确的工具调用，根本走不到任务终点。 - 短任务（single-shot / short-horizon）虽然避免了工具调用失败，但绕过了 agent 的核心能力：在多步交互中保持状态。 - 方法基于回放成功轨迹，定位「决定性步骤」—— 该步骤的累积 patch 首次让仓库从失败翻转为通过。 - 在十组公开基础模型与后训练模型的对比上，三道筛子的排序结果与后训练模型的 SWE-bench Verified pass@1 高度一致。 逐节讲解 现有方法的局限 论文首先指出，预测基础模型在 agent 任务上的表现不能直接套用 end-to-end pass@K：很多基础模型连正确的工具调用都做不出来，根本走不到最后一步。而短任务虽然绕过了工具调用失败的问题，却把多步交互压缩成一次固定 prompt 和单次 patch，避开了 agent 最核心的能力，在仓库演化的过程中保持连贯的状态。 核心思路：从成功轨迹中定位决定性步骤 论文提出一个替代方案：把训练好的 agent 的成功轨迹当作「前瞻信号」。回放每一条轨迹，在每次修改代码的步骤后重新跑测试，找到第一个让仓库从「失败」翻转为「通过」的步骤。这个步骤的累积 patch 证明，在给定之前所有上下文的前提下，该动作确实解决了任务。这一步被定义为「决定性步骤」。 三道筛子 基于一个针对 agent 轨迹的覆盖原则，论文在决定性步骤上设置了三个不需要基础模型从头跑完整流程的筛子： - Decisive-Action BPB（bits per byte）：测量基础模型给这个被验证过的正确动作分配的概率质量。 - Patch MCQ：让基础模型在正确动作与被同一验证器拒绝的替代方案之间做选择，测试其辨别能力。 - Prefix-conditioned pass@K：给定决定性步骤之前的所有上下文，让基础模型生成代码，只要测试能通过就计为成功。 实验验证 论文在十组公开的基础模型与后训练模型上测试了这三道筛子…