量化 agentic coding 评测中的基础设施噪声
来自 Anthropic Engineering · 期号 2026-02-05
摘要
Agentic coding 评测（如 SWE-bench、Terminal-Bench）常被用来比较前沿模型的编程能力，排行榜上领先者往往只差几个百分点。 但 Anthropic 发现，基础设施配置本身就能造成超过这个差距的分数波动。在 Terminal-Bench 2.0 上，资源最充裕与最受限的配置之间差了 6 个百分点（p < 0.01）。 问题出在资源限制的执行方式上。Anthropic 的 Kubernetes 实现把每个任务的资源规格同时当作下限和硬上限，容器一旦超限就被杀死。而 Terminal-Bench 官方排行榜使用的沙箱实现更宽松，允许临时超限。 Anthropic 在六种资源配置下跑了一遍 Terminal-Bench 2.0，从严格限制到完全不设上限。成功率随资源余量单调上升，基础设施错误率从 5.8% 降至 0.5%。
深读
导读 Agentic coding 评测（如 SWE-bench、Terminal-Bench）的排行榜上，领先模型之间往往只差几个百分点，这些分数常被当作模型能力的精确度量。但 Anthropic 发现，仅基础设施配置（如 CPU、内存限制）就能造成超过这个差距的分数波动，在 Terminal-Bench 2.0 上，资源最充裕与最受限的配置之间差了 6 个百分点。这篇博客的核心价值在于，它量化了“基础设施噪声”对评测结果的影响，并给出了可操作的校准建议，提醒所有依赖 benchmark 做决策的人：小分数差距可能只是硬件配置的差异，而非真实能力差距。 关键信息 - 在 Terminal-Bench 2.0 上，资源最充裕（不设上限）与最受限（严格按任务规格执行）的配置之间，成功率相差 6 个百分点（p < 0.01）。 - 基础设施错误率从严格限制时的 5.8% 降至不设上限时的 0.5%，其中从严格限制到 3 倍资源余量的下降（5.8% 到 2.1%）统计显著（p < 0.001）。 - 在 SWE-bench 的交叉实验中，将可用 RAM 提升至基线 5 倍，成功率仅提升 1.54 个百分点，说明资源影响在任务负载较轻的评测上幅度更小。 - 在 3 倍资源余量以下，分数波动在统计噪声范围内（p=0.40），额外资源主要修复基础设施可靠性问题；超过 3 倍后，额外资源开始主动帮助 agent 解决原本无法解决的问题。 - 不同模型对资源限制的敏感度不同：Anthropic 在自家不同模型上复现了核心发现，效果方向一致但幅度有差异。 逐节讲解 问题发现：基础设施配置如何影响评测分数 Anthropic 在 Google Kubernetes Engine 集群上运行 Terminal-Bench 2.0 时，发现自己的分数与官方排行榜不符，且基础设施错误率高达 6%。原因在于资源执行方式的差异：Anthropic 的 Kubernetes 实现将每个任务的资源规格同时当作下限和硬上限，容器一旦超限就被杀死；而 Terminal-Bench 官方排行榜使用的沙箱实现更宽松，允许临时超限而不终止容器。这引出一个更大问题：资源配置到底能在多大程度上影响评测分数？ 量化实验：六种资源配置下的分数变化 Anthropic 在 Terminal-Bench 2.0 上运行了六种资源配置，从严格按任务规格执行（1x）到完全不设上限。成功率随资源余量单调上升，基础设施错误率从 5.8% 降至 0.5%。从 1x 到 3x，分数波动在统计噪声范围内（p=0.40），大多数在 1x 下崩溃的任务即便有更多资源也会失败。但从 3x 到不设上限，成功率跳升近 4 个百分点，而基础设施错误率仅再降 1.6 个百分点，额外资源开始帮助 agent 尝试需要大内存的方法，如拉取大型依…