OpenAI 董事会成员谈前沿 AI 的真实风险
来自 The MAD Podcast with Matt Turck · 期号 2026-05-07
摘要
OpenAI 董事会成员、卡内基梅隆大学机器学习系主任 Zico Kolter 做客播客，讨论了前沿模型发布前的安全审查流程。 他认为，更强的模型并不会自动变得更安全，安全不会来自规模本身。 Kolter 将 AI 风险分为四类，并指出越狱和提示注入暴露了系统的真实弱点。AI agent 会大幅扩大攻击面，因为它们获得了执行操作的权限。 他介绍了 OpenAI 的预备框架（Preparedness Framework）如何运作，以及红队测试在其中的角色。 “AI 安全与 AI 安全是两个不同的问题：前者关心模型会不会做坏事，后者关心坏人能不能利用模型。” 这个判断站得住，因为 Kolter 本人就是 GCG 越狱论文的作者之一，Gray Swan 的联合创始人。
深读
导读 原文信息有限，以下基于节目简介。这期播客邀请到 OpenAI 董事会成员、卡内基梅隆大学机器学习系主任 Zico Kolter，讨论前沿模型发布前的安全审查流程、AI 安全与 AI 安全的区别，以及 agent 如何大幅扩大攻击面。Kolter 本人是 GCG 越狱论文的作者之一，也是 AI 安全公司 Gray Swan 的联合创始人，他的观点建立在第一手研究之上。 关键信息 - Kolter 将 AI 风险分为四类，并指出越狱和提示注入暴露了系统的真实弱点。 - AI agent 会大幅扩大攻击面，因为它们获得了执行操作的权限。 - Kolter 认为更强的模型并不会自动变得更安全，安全不会来自规模本身。 - 他区分了“AI 安全”与“AI 安全”：前者关心模型会不会做坏事，后者关心坏人能不能利用模型。 逐节讲解 安全审查流程与预备框架 节目介绍了 OpenAI 董事会安全与安保委员会的角色，以及重大模型发布前的审查流程。Kolter 详细解释了 OpenAI 的预备框架（Preparedness Framework）如何运作，红队测试在其中扮演关键角色。该框架是 OpenAI 在发布前沿模型前评估和缓解风险的核心机制。 风险分类与安全悖论 Kolter 将 AI 风险分为四类，并论证了为什么更强的模型不会自动变得更安全。他认为安全不会来自规模本身，单纯增加模型参数量或训练数据并不能消除根本性的安全缺陷。越狱和提示注入攻击暴露了系统真正的脆弱点，这些弱点与模型能力大小没有直接关系。 AI 安全 vs AI 安全 Kolter 提出了一个关键区分：AI 安全（safety）与 AI 安全（security）是两个不同的问题。前者关注模型本身是否会做出有害行为，后者关注恶意行为者能否利用模型作恶。这一区分对理解风险来源和设计防御策略至关重要。他本人创办的 Gray Swan 公司专注于 AI 安全领域。 Agent 与攻击面扩展 AI agent 因为获得了执行操作的权限，会大幅扩大攻击面。节目讨论了 agent 是否已准备好投入生产环境，以及当前最先进的 AI 攻击与防御手段。Kolter 还介绍了机械可解释性（mechanistic interpretability）——一种试图理解模型内部工作机制的方法。 值得注意 节目简介只列出了话题标题，没有包含任何对话的具体内容。关于 Kolter 对 GCG 越狱论文、强化学习、后 transformer 架构等话题的具体观点，在可见信息中均未展开。