全球首次双盲 AI 评测试点
来自 Google DeepMind · 期号 2026-08-27
摘要
AI 评测中，评估者知道模型身份，可能产生偏见。 Google DeepMind 启动全球首次双盲 AI 评测试点，评估者和模型双方都不知道对方身份，以消除这种偏见。 试点覆盖多个模型和任务，旨在验证双盲流程的可行性。
深读
导读 AI 评测中，如果模型提前“看到”了测试题（即基准污染），评测结果就会失真。Google DeepMind 联合多家机构启动了全球首次针对专有前沿模型的双盲评测试点，通过密码学技术将测试题锁在“黑箱”里，让模型无法提前接触。这项试点验证了双盲流程的可行性，为建立更可信的 AI 能力评估标准迈出了关键一步。 关键信息 - 试点采用 Google Cloud 的 Confidential Space（机密计算产品）构建加密环境，确保评测方看不到模型权重，模型提供方也看不到评测方的测试提示词。 - 被评测模型为 Gemini Flash Lite，测试基准为外部提供的保密基准（confidential benchmarks）。 - 合作方包括 新加坡 AI 安全研究所（Singapore AI Safety Institute）、OpenMined、AVERI 和 MLCommons。 - 传统外部评测存在两难：要么评测方交出测试题（风险是模型提供方提前看到），要么模型提供方交出权重（风险是知识产权泄露）。双盲评测消除了这一取舍。 逐节讲解 评测污染问题与双盲方案的必要性 文章用“学生提前看到考题”的类比说明基准污染：如果模型在训练或预训练阶段已经接触过测试题，那么它的高分就不再代表真实能力。随着模型能力增强，确保测试题在评测前对模型不可见变得至关重要，否则政策制定者、研究者和企业无法信任评测结果。此前虽有零日志协议和合同约束来保护外部测试提示词，但引入技术和密码学保障是重大进步。 双盲评测的技术实现 传统外部评测面临两难：要么评测方交出测试提示词（风险是模型提供方提前看到），要么模型提供方交出模型权重（风险是知识产权泄露）。双盲评测通过 Google Cloud 的 Confidential Space 消除了这一取舍。该环境可以密码学地验证：外部评测数据与专有模型对各自所有者保持私密，评测方看不到 Gemini 的权重，Google 也看不到评测方的测试提示词。 意义与展望 这种密码学证据有助于防止基准污染并保护敏感数据，尤其适用于高敏感度的评测场景，如网络安全评测或政府机构的评测。双盲评测使独立组织能够在不必牺牲数据主权或安全性的前提下，对先进模型进行严格测试。文章希望这一试点能为模型监督建立新标准，帮助行业构建更安全、更可靠、更受信任的 AI 系统。 值得注意 文章宣布的是“试点”（pilot），并未公布具体的评测结果或对比数据（如双盲 vs 非双盲条件下的分数差异）。因此，双盲流程在多大程度上改变了评测结论、是否存在实施成本或性能开销，目前尚无公开信息。此外，试点仅针对 Gemini Flash Lite 一个模型，其结论能否推广到更大规模或不同架构的模型，仍需更多验证。