Real-SWE：在真实企业代码库上评测 AI 模型
来自 Hacker News · 期号 2026-09-13
摘要
现有的 SWE-bench 等基准测试用的是公开仓库，跟企业内部的私有代码库差距很大。 Real-SWE 是一个新基准，直接拿真实企业的私有代码库来评测 AI 模型，包含 100 个来自多家公司的真实 bug 修复任务。 评论区有开发者指出，企业代码的依赖关系和配置复杂度远非公开仓库可比，这个基准更能反映模型在实际工作中的表现。
来自 Hacker News · 期号 2026-09-13
现有的 SWE-bench 等基准测试用的是公开仓库，跟企业内部的私有代码库差距很大。 Real-SWE 是一个新基准，直接拿真实企业的私有代码库来评测 AI 模型，包含 100 个来自多家公司的真实 bug 修复任务。 评论区有开发者指出，企业代码的依赖关系和配置复杂度远非公开仓库可比，这个基准更能反映模型在实际工作中的表现。
本站只做摘要与索引，全部内容版权归原作者所有。