Google DeepMind 投资多智能体 AI 安全
来自 Google DeepMind · 期号 2026-06-10
摘要
Google DeepMind 联合多家机构，宣布投入 1000 万美元，专项资助多智能体 AI 安全研究。 当多个 AI agent 在同一环境中交互时，可能出现协调失败、涌现性欺骗、系统性漏洞等新风险。这笔资金专门用于研究这类问题。
深读
导读 当数百万个来自不同组织的 AI agent 在同一数字环境中交互时，协调失败、涌现性欺骗和系统性漏洞等新风险可能随之出现。Google DeepMind 联合多家机构，宣布投入 1000 万美元专项资助多智能体安全研究，旨在为这一即将到来的生态建立安全基础。读完本文，你将了解这笔资金的四大优先资助方向，以及当前安全研究为何必须从单模型评估转向群体行为分析。 关键信息 - 资助总额高达 1000 万美元，面向全球研究人员开放申请，申请截止日期为 2026 年 8 月 8 日，获奖者将于 2026 年秋季公布。 - 联合资助方包括 Schmidt Sciences、Cooperative AI Foundation、ARIA（英国高级研究与发明局），并由 Google.org 提供支持。 - 研究聚焦于大规模多智能体系统作为群体时的集体行为，目标是解决独立系统跨网络交互时产生的“不可见”安全风险。 - 四大优先资助方向：沙箱与测试平台、agent 网络科学、agent 基础设施强化、监督与控制。 逐节讲解 多智能体时代的安全挑战 过去十年，AI 安全研究主要聚焦于单个模型的能力与安全性。但文章指出，当数百万个由不同组织构建的 AI agent 在同一数字环境中交互、通信、协商和交易时，新的集体行为和能力可能突然涌现。目前，大多数安全评估仍将模型孤立分析，缺乏预测、测量和监控这些系统级转变的工具。文章以两个具体问题为例：这种交互是否会导致不可预测的经济活动波动？是否会带来新的安全挑战？ 现有研究基础与加速需求 文章承认多智能体安全已有基础框架——Google DeepMind 在 2025 年建立了一套理解这些交互的框架，其近期关于“AI Agent Traps”的工作则探索了 agent 在对抗性环境中的脆弱性。但文章强调，多智能体交互的复杂性正在超越现有安全模型的速度，因此需要立即、大规模地扩展研究。这项资助计划旨在通过支持全球独立研究者网络来加速进展，并指出多元化的研究社区对确保安全标准的透明性和稳健性至关重要。 四大优先资助方向 文章明确表示，没有任何单一实验室能独自解决多智能体安全问题，因此向学术界和独立研究者征集四个方向的提案： - 沙箱与测试平台：构建真实、可复现的环境，用于评估和比较多智能体安全方案，包括虚拟市场、模拟生态系统和多组织工作流。 - agent 网络科学：理解交互 agent 群体的安全相关属性，包括集体能力如何涌现和扩展、网络如何失效或变得不稳定，以及如何检测危险的群体级特性。 - agent 基础设施强化：对跨平台安全 agent 交互所需的身份、声誉和承诺协议进行压力测试。 - 监督与控制：开发对已部署 agent 群体进行监控并大规模缓解集体危害的方法。 值得注意 文章是一篇资助公告，而非研究论文，因此没有提供任何具体的…