编码 agent 已经收敛：SWE-bench 排行榜为
来自 arXiv · 期号 2026-09-16
摘要
SWE-bench 排行榜上，前两名各解决 500 个实例中的 396 个，共享 285 个成功和 51 个失败，只有 164 个实例能区分它们。 前 30 名中，同一模型搭配不同脚手架（scaffold）的得分差距可达 29.8 个百分点，远超前 30 名之间 8.8 个百分点的总跨度。McNemar 检验无法区分前 30 名中任何相邻的两项。 论文提出一个五步审计协议，建议报告特定比较集内的解决率和模型-脚手架来源，而非将微小的总分差解读为确定的排名差异。
深读
导读 SWE-bench 排行榜上，前两名各解决 500 个实例中的 396 个，共享 285 个成功和 51 个失败，只有 164 个实例能区分它们。这篇论文通过统计审计证明，当前排行榜顶部的微小分数差已无法可靠地反映系统间的真实排序，并提出了一个替代性的五步审计协议。读完能理解为什么 SWE-bench 排行榜不再可信，以及应该用什么指标来比较 coding agent。 关键信息 - 在 SWE-bench Verified 上，前两名各解决 500 个实例中的 396 个，共享 285 个成功和 51 个失败，只有 164 个实例能区分它们的表现。 - 前 30 名中，同一模型搭配不同脚手架（scaffold）的得分差距可达 29.8 个百分点，远超前 30 名之间 8.8 个百分点的总跨度。 - 精确配对 McNemar 检验在 alpha=0.05 水平上无法区分 Verified 上相邻的前 30 名中的任何一对。 - 前沿方案的成功集之间中位数嵌套率（median nesting）为 0.935，而基于分数的基线为 0.774，表明成功高度重叠。 - 在 9 个单元均值交互检验中，6 个在 Holm 校正后仍然显著，但该观察性设计无法识别因果性的脚手架效应。 逐节讲解 问题：排行榜上的微小差距被误读为系统排序 论文指出，coding agent 排行榜上的微小分数差常被解读为系统的明确排序。作者审计了 254 个 SWE-bench 提交（跨越四个子集），在不运行模型的情况下检验这一解读是否成立。 证据：成功高度重叠，分数差来自少数实例 在 Verified 子集上，前两名各解决 396 个实例，共享 285 个成功和 51 个失败，只有 164 个实例能区分它们。前 10 名共享 285 个成功和 51 个失败。前沿方案的成功集之间中位数嵌套率为 0.935（基于分数的基线为 0.774），说明成功高度重叠。分数还依赖于评估的模型-脚手架组合：同一模型搭配不同脚手架的得分差距可达 29.8 个百分点，而前 30 名之间的总跨度仅为 8.8 个百分点。 统计检验：无法区分相邻条目 精确配对 McNemar 检验在 alpha=0.05 水平上无法区分 Verified 上相邻的前 30 名中的任何一对。在更大的 Test 子集上，23 对中有 14 对被区分。基于排行榜的规则可产生三个描述性层级，Holm 校正后变为两个层级；但统计上不拒绝原假设并不等同于等价。 替代方案：五步审计协议 论文提出一个五步审计协议，包括：分析共享结果、检验配对差异、报告分组敏感性、估计区分所需实例预算。建议报告特定比较集内的解决率和模型-脚手架来源，而非将微小的总分差解读为确定的排名差异。作者同时发布了分区数据和审计协议。 值得注意 论文基于观察性数据，无法识别…