AI 安全不是「网络安全加 AI」,而是全新的漏洞类别

来自 Latent Space · 期号 2026-06-23

摘要

AI 安全不是「网络安全加 AI」,而是全新的漏洞类别。 Gray Swan 联合创始人 Zico Kolter(OpenAI 董事会安全委员)和 Matt Fredrikson(CMU 教授)认为,prompt injection 对 coding agent(如 Codex、Claude Code)是根本性的攻击面,因为 agent 天然要执行不可信数据。 他们介绍了三件工具:Shade(能比人类更高效地攻破模型的对抗性红队 AI)、Cygnal(策略执行护栏模型)、Gray Swan Arena(全球最大的 AI 红队社区)。 核心论点:模型变大不会自动变得更安全;agent 引入的「致命三要素」(不可信数据 + 私有数据 + 数据外泄)是结构性问题,不是靠提示词工程能解决的。

读原文

本站只做摘要与索引,全部内容版权归原作者所有。