FrontierCS 2：计算机科学研发基准
来自 arXiv · 期号 2026-10-22
摘要
现有基准测试给 agent 一个问题描述，跑完程序就打分。FrontierCS 2 换了一种方式：把一篇论文的贡献代码删掉，让 agent 在完整仓库里工作，随时可以提交补丁。裁判用私有评测集和作者原始代码做对照，最终成绩看的是 agent 能否复原论文的贡献。 48 个任务覆盖机器学习系统、高性能计算、数据库、安全、机器人等 13 个领域。评测了 12 个 agent，表现最好的是 Claude Opus 5.5，通过率 58%。16 个任务没有任何 agent 通过。即使总分超过参考线的运行，也往往在某个指标或负载上落后。 论文还保留了一个超过 100 个任务的私有集，将在未来公布。
深读
导读 现有基准测试给 agent 一个问题描述，跑完程序就打分。FrontierCS 2 换了一种方式：把一篇论文的贡献代码删掉，让 agent 在完整仓库里工作，随时可以提交补丁。裁判用私有评测集和作者原始代码做对照，最终成绩看的是 agent 能否复原论文的贡献。对于关心 agent 在真实科研工作中能走多远的人来说，这是一个比现有基准更贴近实际的测试。 关键信息 - 48 个任务覆盖机器学习系统、高性能计算、数据库、安全、机器人等 13 个领域。 - 评测了 12 个 agent，表现最好的是 Claude Opus 5.5，通过率 58%。 - 16 个任务没有任何 agent 通过。 - 即使总分超过参考线的运行，也往往在某个指标或负载上落后。 - 论文保留了一个超过 100 个任务的私有集，将在未来公布。 逐节讲解 基准测试的设计思路 FrontierCS 2 的核心设计是：选取一篇论文及其作者发布的代码，然后删除论文的核心贡献代码。被删掉的代码成为人类参考标准，agent 的任务就是在一个完整的研究仓库中工作，随时可以提交补丁。裁判使用私有评测集和作者原始代码做对照，对最终提交进行评分。裁判本身、最终评测集和参考代码都是私有的，agent 无法通过作弊手段获取。 任务覆盖与评测结果 48 个任务分布在 13 个领域，包括机器学习系统、高性能计算、数据库、安全、机器人等。评测了 12 个 agent，表现最好的是 Claude Opus 5.5，通过率 58%。有 16 个任务没有任何 agent 通过。论文特别指出，总分超过参考线并不等于通过：大多数在综合分数上超过参考线的运行，仍然会在某个具体指标或负载上落后。在 agent 和任务的共享能力标尺上，中位数任务的难度大致相当于最强 agent 能处理的上限。 值得注意 原文信息有限，以下基于论文摘要。摘要没有展开任何具体任务的细节、agent 的具体失败模式、以及私有任务集的内容。关于 agent 在哪些领域表现更好、哪些任务最难，以及 Claude Opus 5.5 与其他 agent 的具体差距，摘要中均未提供。