Science One Framework
来自 Google Research · 期号 2026-07-31
摘要
AI 自主做科研，最大的问题是不可信：它给出一个结论，但没人知道它是怎么得出的。 Google 的 Science One 框架把研究过程拆成可追溯的证据链。每一步 —— 从提出假设、设计实验、分析数据到得出结论 —— 都要求 agent 产出明确的证据节点，供人类或另一个 agent 验证。 框架的核心是 Chain-of-Evidence（证据链），它让 AI 的研究过程变得透明，而不是一个黑箱输出。论文在多个科学领域（材料科学、生物学）做了验证，显示该方法能显著提高结论的可复现性。 原文是研究论文，附了开源代码。
深读
导读 AI 自主做科研正在从概念走向现实，但一个根本问题随之浮现：AI 生成的论文结论可信吗？Google Research 提出的 Science One Framework 试图回答这个问题，其核心思路是在研究过程中原生构建可验证的证据链，而不是事后补救。读完本文你会理解：什么是 Chain-of-Evidence、它如何落地为一个可运行的 agent 系统、以及它在基准测试中是否牺牲了性能来换取可信度。 关键信息 - Science One Framework 在 CoE Audit 的四项完整性检查中全部领先：零篇虚构参考文献（baseline 最高达 21% 的幻觉率）、完美的分数可复现性、最高的方法与代码对齐度。 - 在 ADRS 基准的五个系统优化任务上，Science One Framework 在 Cloudcast 和 EPLB 两项上取得所有系统最佳成绩，整体匹配或超越人类专家水平。 - 在 MLE-Bench 的五个 Kaggle 竞赛中，Science One Framework 获得两枚金牌（包括 3D 物体检测的获胜分数，baseline 在该任务上完全失败）和两枚银牌。 - 在 Parameter-Golf 的实时 LLM 训练竞赛中，Science One Framework 在严格的硬件和文件大小约束下成功提交有效结果，并取得了截至 2026 年 4 月 27 日的最高分。 逐节讲解 问题：AI 科研论文的可验证性危机 当前已有多个系统（如 Sakana 的 AI-Scientist、AutoResearchClaw、DeepScientist、AI-Researcher）能够自主完成文献综述、提出假设、执行实验并撰写论文。但随着论文表面质量的提升，一个结构性问题暴露出来：可验证性缺失。由于生成管线是迭代式的，任何阶段引入的错误都会被放大。具体表现为：生成不存在的引用、方法描述与实际代码不匹配、实验分数无法从提供的代码中复现。 Chain-of-Evidence：定义可验证性的框架 CoE 是一个概念框架，它不规定如何构建研究 agent，而是规定其输出必须满足的属性。核心原则分两部分：完整性——每个研究声明都必须附带一条记录在案的证据链；正确性——每条证据链必须真实支持它所附着的声明。声明可以是引用、报告的数字、方法描述或结论，必须能回溯到对应的证据（如同行评审论文、实验日志行、实际运行的代码、结果表格）。一篇论文中，虚构的引用、不可复现的分数、描述的方法与代码不一致，都是证据链断裂的表现。 Science One Framework：原生构建证据链的 agent 系统 框架通过三个模块实现 CoE： - Problem Investigator（文献锚定）：通过 Semantic Scholar API 构建引用图，每…