SWE-Gate：通过功能测试还不够
来自 arXiv · 期号 2026-09-04
摘要
现有的代码 agent 评测只看补丁能不能通过功能测试，但真实开发中，代码审查意见（review constraints）往往才是补丁被接受的关键。 SWE-Gate 是一个新基准，从真实 PR 的 review 评论里提取约束条件，为每个修复任务同时提供功能测试和约束测试。在 303 个修复实例上的实验显示：644 个通过功能测试的补丁里，有 221 个不满足 review 约束。 只测功能会高估 agent 完成真实仓库级修复任务的能力。论文附了开源代码和数据。
深读
导读 现有代码 agent 评测几乎只看补丁能否通过功能测试，但真实开发中，代码审查意见才是补丁被接受的关键。SWE-Gate 是一个新基准，通过从真实 PR 的 review 评论中提取约束条件，揭示了功能测试通过率与完整修复要求之间的巨大差距。读完本文能理解：为什么当前基准高估了 agent 的仓库级修复能力，以及 review 约束为何是评测中不可忽视的一环。 关键信息 - SWE-Gate 包含 303 个仓库级修复实例，覆盖 75 个开源 Python 仓库，横跨多个软件领域。 - 每个实例同时提供功能测试和约束测试，并附带不满足约束的补丁与 gold patch。 - 实验使用 4 种 LLM 后端（覆盖不同能力层级）在统一 agent 框架下测试，结果：644 个通过功能测试的补丁中，有 221 个不满足 review 约束，占比约 34%。 - 约束条件来自真实 PR 的 review 评论，而非人工编造。 逐节讲解 现有基准的盲区 现有仓库级软件工程基准（如 SWE-bench）主要衡量生成的补丁能否通过功能测试，但忽略了真实开发中代码审查意见（review constraints）对补丁是否被接受的决定性影响。论文指出，只测功能会高估 agent 完成完整修复任务的能力。 SWE-Gate 的构造方法 SWE-Gate 从真实 PR 的 review 评论中提取约束条件，并围绕这些约束合成仓库级修复实例。每个实例包含：功能测试、约束测试、不满足约束的补丁、以及 gold patch。这种设计将「问题解决能力」与「约束合规能力」明确分离，使得评测可以分别考察 agent 在两个维度上的表现。 实验发现：功能通过 ≠ 修复完成 在 303 个实例上，使用 4 种不同能力层级的 LLM 后端在统一 agent 框架下测试，结果发现：644 个通过功能测试的补丁中，有 221 个未能满足 review 约束。这一差距表明，仅以功能测试通过率作为评测指标，会显著高估 agent 在真实仓库级修复任务中的表现。 值得注意 - 论文仅基于摘要，未提供具体实验细节（如各 LLM 后端的名称、具体通过率数据、约束测试的构造方式等），因此无法评估约束提取的准确性和代表性。 - 303 个实例全部来自 Python 仓库，结论能否推广到其他语言（如 Java、TypeScript）尚不明确。 - 约束条件来自 review 评论，但评论本身的质量和一致性可能影响基准的可靠性，并非所有 review 评论都构成合理的约束。