Anthropic 发布破坏风险报告
来自 Anthropic Alignment Science · 期号 2025-10-28
摘要
Anthropic 发布了一份针对当前部署模型（以 Claude Opus 4 为代表）的破坏风险报告。报告结论是，模型因未对齐而自主采取行动、并显著导致未来灾难性后果的风险非常低，但并非完全可忽略。 这是为未来负责任扩展政策（RSP）义务所做的预演。当模型能力超过某个阈值后，政策要求开发者提交一份“肯定性论证”，说明已识别并缓解了最紧迫的未对齐风险。Anthropic 称这是该领域首次完整的此类尝试。 报告聚焦于“破坏”（sabotage）这一行为类别，区别于幻觉等常见问题。内部和外部审查（由 METR 独立进行）均同步发布。
深读
导读 Anthropic 发布了一份针对其当前部署模型（以 Claude Opus 4 为代表）的破坏风险报告，结论是模型因未对齐而自主采取行动、并显著导致未来灾难性后果的风险非常低，但并非完全可忽略。这是为未来负责任扩展政策（RSP）义务所做的预演，是该领域首次完整的此类尝试。读完可以了解前沿实验室如何系统性地评估和论证模型对齐风险，以及当前最先进模型在这一维度上的实际安全状况。 关键信息 - 报告聚焦于 Claude Opus 4（截至 2025 年夏季 Anthropic 最强大的模型），评估其因未对齐而自主采取行动、并显著导致未来灾难性后果的风险。 - 结论是风险非常低但并非完全可忽略，团队对 Opus 4 不具有一致、连贯的危险目标，以及不具备可靠执行复杂破坏策略同时避免检测的能力，有中等信心。 - 报告经过了内部审查（由 Anthropic 对齐压力测试团队进行）和独立外部审查（由 AI 安全与评估非营利组织 METR 进行），两份审查均认可了风险水平的评估结论，但在论证和证据的某些方面提出了质疑。 - 该报告是 Anthropic 未来 RSP 政策中“肯定性论证”的预演，该政策要求当模型能力超过某个尚未达到的阈值时，开发者必须提交一份论证，说明已识别并缓解了最紧迫的未对齐风险。 逐节讲解 报告背景与目的 Anthropic 的负责任扩展政策（RSP）此前主要针对高风险的人类滥用问题，但其中也包含针对模型自身行为引发的未对齐风险的未来承诺。对于尚未达到的能力阈值以上的未来模型，政策要求开发者提交一份“肯定性论证”，该论证需要：(1) 识别模型追求未对齐目标所带来的最直接、最相关的风险；(2) 解释如何将这些风险缓解到可接受的水平。这类论证在该领域是未知领域——Anthropic 此前只发布过论证草图，从未准备过完整的版本，也未发现其他前沿 AI 开发者有此类文档。 本次发布的报告是一次试点练习，旨在为未来真正需要提交此类论证时提前发现问题、识别当前安全策略中的空白，并试点一套可用于验证未来关键论证的内部和外部审查流程。 核心概念与评估方法 报告将“破坏”（sabotage）定义为未对齐行为的一个广泛类别，区别于幻觉等常见问题。在高能力水平下，破坏行为会带来独特的新兴风险，且难以在没有充分准备的情况下应对。报告被命名为“风险报告”而非“安全论证”，以强调其目标不是证明达到了某个预设的风险水平，而是如实呈现当前存在的风险水平。 评估聚焦于 Claude Opus 4 的能力、行为特征以及现有的正式和非正式防护措施。团队从多个破坏相关的威胁模型入手，认为这些模型的绝对风险水平相似且较低。 主要结论与审查过程 核心结论是：Opus 4 因未对齐而自主采取行动、并显著导致未来灾难性后果的风险非常低，但并非完全可忽略。团队对两个关键点有中等信心：Opus…