ASL-4 安全论证的三个草图
来自 Anthropic Alignment Science · 期号 2024-11-05
摘要
当前 AI 模型不会造成灾难，最干净的理由是它们没这个能力。但能力提升后，就需要新的工具来确保安全，即使无法排除能力本身。 Anthropic 的 RSP 将风险分为不同 ASL 等级，每个等级有对应的安全承诺，其中一部分是「安全论证」—— 证明系统在特定环境下可以安全部署的结构化论证。问题是，当 AI 具备复杂的策略能力后，如何做这样的论证还不清楚。 这篇博客针对 ASL-4 能力级别的模型，草拟了三种假设性的安全论证框架。它们不是官方政策或预测，而是用来评估优缺点、收集反馈的候选方案。 ASL-4 尚未正式定义，但附录推测了三个可能标准：灾难性滥用风险、现实世界自主复制能力、自主 AI 研究能力。这些标准都指向高度的自主性和复杂规划能力。对于这样的模型，还需要考虑它们会故意破坏安全评估或程序的可能性——即「破坏」行为。 三种草图从假设的 AI 开发者视角出发，试图证明部署 ASL-4 模型是安全的。前提是：模型已触发至少一项危险能力评估（无法排除造成灾难的可能性），且已触发多项破坏能力评估（无法排除策略性隐瞒能力、破坏监控等可能性）。 这带来了全新的安全保证挑战：开发者需要证明，他们的评估和监控程序能抵御一个有意破坏、且有能力破坏的 AI。