SWE-Serve：面向生产推理服务的工程化智能体基准测
来自 arXiv · 期号 2026-09-23
摘要
现有推理工程基准各有不足：仓库级基准不针对推理，终端 agent 基准任务太少，专用基准只聚焦孤立优化。SWE-Serve 提供了 53 个基于 SGLang 生产变更的仓库级任务，覆盖 6 类推理工程。每项任务在 CPU 或单张 H100 上运行，用隐藏功能测试、回归测试以及端到端服务测试评估。 在 11 个模型、31 种配置中，最佳配置平均通过率 75%。但端到端测试暴露了本地完成与生产正确性之间的巨大差距：在 19 个有 E2E 覆盖的任务上，通过率从 69.4% 降至 45.9%，约三分之一本地通过的补丁被拒绝。SWE-Serve 让这一差距变得可直接测量。
深读
导读 SWE-Serve 是一个专门评估代理在生产级推理工程任务上能力的基准。与现有基准仅覆盖孤立优化或仓库级通用任务不同，它直接从 SGLang 的生产变更中提取了 53 个仓库级任务，覆盖六大推理工程类别。读完本文可了解生产推理工程基准的缺失、SWE-Serve 如何量化本地完成与生产正确性之间的差距，以及当前最佳代理配置的表现。 关键信息 - SWE-Serve 包含 53 个仓库级任务，全部来源于 SGLang 近期生产变更，覆盖 6 类推理工程（模型支持、运行时执行、公共 API 等）。 - 任务在 CPU 或单张 H100 GPU 上执行，评估采用隐藏功能测试、回归测试、端到端（E2E）服务测试以及校准性能门控。 - 在 11 个模型、31 种模型配置中，最佳配置的平均 pass@1 达到 75%。 - 在 19 个有 E2E 覆盖的任务上，排除 E2E 测试时通过率为 69.4%，加入 E2E 测试后降至 45.9%，约三分之一的本地通过补丁在生产环境中被拒绝。 - 项目设计了可执行的 no-op 和 oracle 控制、对抗性验证者审查以及闭卷执行机制，用于保障任务有效性和评估完整性。 逐节讲解 现有基准的盲区 现有推理工程评估基准存在明显缺口。仓库级软件工程基准（如 SWE-bench）不针对推理场景；通用终端代理基准只包含少数推理任务；专用推理基准（如 kernel generation）聚焦于孤立的性能优化而非仓库级生产特性的实现。三者均无法全面评估代理在真实推理服务栈上同时修改模型支持、运行时执行和公共 API 的能力。 SWE-Serve 的设计 SWE-Serve 从 SGLang 近期的生产变更中提取了 53 个仓库级任务，每项任务在 CPU 或单张 H100 GPU 上运行。评估采用多层测试：隐藏功能测试和回归测试检查基本正确性，E2E 服务测试模拟真实部署条件，校准性能门控确保输出质量。此外，通过可执行的 no-op 和 oracle 控制、对抗性验证者审查以及闭卷执行，防止代理利用记忆或猜测绕过测试，保证任务有效性和评估完整性。 评估结果与生产正确性差距 在 11 个模型和 31 种配置下，最佳配置的平均 pass@1 为 75%。但关键发现是 E2E 服务测试暴露了巨大差距：在 19 个有 E2E 覆盖的任务上，排除 E2E 测试时通过率为 69.4%，加入 E2E 测试后降至 45.9%——约三分之一的本地通过补丁在生产环境下失败。不过，对于每个模型的最优配置，通过率均有提升，说明参数调整能在一定程度上弥合差距。SWE-Serve 通过将生产正确性差距直接可测，为追踪代理能否从“本地完成任务”推进到“达到生产正确性”提供了评估工具。 值得注意 本文基于论文摘要（abstract），缺少论文全文中具体任务实例、模型名称、…