UK AISI 用 EvalEval 公开评测结果
来自 Hugging Face · 期号 2026-09-22
摘要
AI 评测结果散落在各种格式和平台上，往往缺少复现所需的信息，而重新跑一遍评测又贵得离谱。 EvalEval 联盟和英国 AI 安全研究所（AISI）的合作进入新阶段：AISI 开始用 EvalEval 的 Evaluation Cards 平台公开分享评测结果。首批数据覆盖五个基准（HealthBench、FrontierMath、Humanity's Last Exam、SWE-Bench Pro、Terminal-Bench 2.0）和六款前沿模型（Claude Opus 4/4.5/4.6、GPT-5/5.2/5.4），另有两项网络安全评测。这些数据附带了完整的设置信息和上下文，供研究者对照。 数据来自 AISI 的论文《推理计算如何影响前沿 LLM 评测》，该论文研究了推理时计算量和评测协议对 benchmark 成绩的影响。 原文是合作公告，附了论文链接和 EvalEval 平台入口。
深读
导读 AI 评测结果散落在各种格式和平台上，往往缺少复现所需的信息，而重新跑一遍评测又贵得离谱。英国 AI 安全研究所（AISI）开始使用 EvalEval 联盟的 Evaluation Cards 平台公开分享评测结果，首批数据覆盖五个基准和六款前沿模型。读完本文可以了解这套共享基础设施如何运作、首批公开了哪些数据，以及它为什么能成为行业参考点。 关键信息 - AISI 首批公开的评测数据覆盖五个基准：HealthBench、FrontierMath、Humanity's Last Exam、SWE-Bench Pro、Terminal-Bench 2.0。 - 六款被评测的前沿模型为：Claude Opus 4、Claude Opus 4.5、Claude Opus 4.6、GPT-5、GPT-5.2、GPT-5.4。 - 数据还包含两项网络安全评测——Cyber CTFs 和 The Last Ones，使用部分重叠的不同模型集。 - 这些数据来自 AISI 的论文《How Inference Compute Shapes Frontier LLM Evaluation》，该论文研究了推理时计算量和评测协议对 benchmark 成绩的影响。 - EvalEval 的两个核心基础设施是共享 schema Every Eval Ever（EEE）和开放平台 Evaluation Cards。 逐节讲解 为什么可复现的评测报告很重要 AI 部署加速，评测结果成为评估模型和系统性能的关键证据。但结果散落在不同格式和平台上，往往缺少复现所需的信息，而重新跑一遍评测成本极高。EvalEval 的使命是通过共享报告 schema（Every Eval Ever）和开放平台（Evaluation Cards）改善这一生态，将评测结果和解读所需的信息纳入统一结构。这与 AISI 已有的工作自然衔接——AISI 此前已通过 OptStop 提高评测效率、通过 HiBayES 提升统计严谨性，并在对话分析、能力激发等领域推动标准化。 AISI 分享了什么 AISI 通过 Evaluation Cards 公开了论文主实验涉及的五个基准的验证结果、上下文和配置信息。评测覆盖六款前沿模型，另有两项网络安全评测使用不同的模型集。这些数据附带了完整的设置信息，研究者可以对照自己的实验来理解评测协议选择如何影响报告的性能。文章以 Humanity's Last Exam 为例展示了关键发现：当模型在每次尝试后从 oracle 获得正确性反馈时，随着 token 用量增加，模型能持续解决更多任务；而不同评测协议和推理计算量会显著改变成绩。AISI 的公开数据为行业提供了可验证的参考点，帮助研究者理解设置选择如何影响报告的性能。 如何参与及项目背景 文章列出了三类贡献方式：模型开发者报…