SWE-Serve 揭示本地测试与线上部署的差距
来自 NVIDIA Developer · 期号 2026-09-24
摘要
AI 编程 agent 的补丁能通过本地测试，但上线后往往失败。NVIDIA 的 SWE-Serve 基准量化了这个差距。 它从 SGLang 的 83 个合并 PR 中提取了 53 个可执行任务，涵盖模型启用、解码、缓存、调度、服务 API 和分布式执行六类推理工程。其中 19 个任务会启动真实服务器，验证补丁的完整服务路径。 在这 19 个任务上，同一个补丁的通过率从去掉在线验证时的 69.4% 降到了完整验证时的 45.9%——大约每三个补丁中，就有一个通过了其他测试却过不了在线验证。 跨多个运行时域的任务（请求处理、调度、模型执行、KV 缓存）通过率为 47.7%，而单域任务为 69.0%，差了 21.3 个百分点。每种模型都表现出这一差距。 11 个模型用 mini-swe-agent 在闭卷条件下跑完全部任务，平均 pass@1 在 34.6% 到 75.5% 之间。Claude Opus 5 和 GPT-5.6 Sol 以 75% 并列最高，但成本差异很大——同样 64% 分组的四个模型，每任务成本从 0.95 美元到 7.24 美元不等。 基准测试本身开源，并附带在线排行榜。21.3 个百分点的跨域差距说明，当前 agent 在需要理解整个服务栈的工程任务上仍存在系统性短板。