Anthropic 与埃森哲合作嵌入式评估

来自 Anthropic News · 期号 2026-09-18

摘要

Anthropic 与埃森哲合作,将独立评估团队嵌入公司内部。 埃森哲旗下的 Faculty 将负责评估和红队测试模型、进行对齐评估、测试模型安全措施。双方计划未来五年各投入至少 10 亿美元。 嵌入式评估者将拥有接近员工的访问权限,可以观察模型训练过程、了解构建和部署决策,并直接与员工沟通。这使他们能够评估公司运营、验证安全承诺是否兑现、识别盲点。 目前尚无嵌入式评估的信息访问和报告标准,也没有成熟的资助体系。Anthropic 将直接资助埃森哲,同时与 METR 等非营利评估机构对话。该合作是非排他性的。

深读

导读 Anthropic 宣布与埃森哲合作,将独立评估团队嵌入公司内部,以验证前沿 AI 模型的安全性。这是业界首个大型的嵌入式评估实践,双方计划五年内各投入至少 10 亿美元。读完能了解嵌入式评估的运作方式、当前面临的标准化和资助难题,以及 Anthropic 在这一新范式上的具体安排。 关键信息 - 合作由埃森哲旗下 AI 业务 Faculty 主导,负责模型评估、红队测试、对齐评估和安全措施测试。 - Anthropic 与埃森哲各自计划在未来五年投入至少 10 亿美元建设评估能力。 - 嵌入式评估者将拥有接近员工的访问权限,可观察模型训练过程、了解构建和部署决策,并直接与员工沟通。 - 目前尚无嵌入式评估的信息访问和报告标准,也没有成熟的资助体系。 - Anthropic 将直接资助埃森哲,同时与 METR 等非营利评估机构对话,探索使用后者的自有资金进行试点。 - 该合作是非排他性的,Anthropic 将在未来几周宣布与其他评估机构的合作,埃森哲也将为其他 AI 开发者提供类似服务。 逐节讲解 合作内容与投入 Anthropic 与埃森哲合作,将独立评估团队嵌入公司内部。这是其 CEO 在《We Must Pace the Frontier》一文中承诺的落地步骤。Faculty 将负责评估和红队测试模型、进行对齐评估、测试模型安全措施。埃森哲在帮助企业及政府部署 AI 方面的实践经验,将为其安全评估提供视角。双方各计划投入至少 10 亿美元。 嵌入式评估的运作方式 与当前的外部评估者不同,嵌入式评估者将在 AI 公司内部工作,拥有接近员工的访问权限。他们可以观察模型在训练中的演变、追踪模型构建和部署的决策过程,并直接与员工沟通。这种视角使他们能够评估公司运营、验证安全承诺是否兑现、识别盲点,并报告事件,向公众提供更充分的风险与收益信息。Anthropic 强调,这不会减轻公司的责任,而是让责任更可验证。 标准化与资助难题 目前,嵌入式评估的信息访问和报告尚无标准,也没有成熟的资助体系。Anthropic 认为长期来看资金应来自联合或政府来源(如其 6 月发布的《Advanced AI Framework》所呼吁的),但在这些机制尚未建立的当下,Anthropic 将直接资助埃森哲。同时,Anthropic 正与 METR 等非营利评估机构对话,探索使用其自有资金进行试点。最终目标是建立一个遵循共享标准的前沿 AI 评估生态系统。 值得注意 文章未说明嵌入式评估者的具体权限边界、报告流程,以及如何确保其独立性不受资助方影响。这些细节将在后续实践中逐步明确。

读原文

本站只做摘要与索引,全部内容版权归原作者所有。