自动化研究员可可靠地缓解对齐失败
来自 Anthropic Research · 期号 2026-08-28
摘要
Anthropic 让 Claude 自主训练模型，以修复 10 类对齐失败（如欺骗、谄媚、越狱）。 Claude 通过搜索文献、提出方法、训练、测试的循环，逐一处理每类问题。评估标准是“安全差距闭合百分比”——即模型向理论完美分数靠近了多少。Anthropic 排除了会损害通用能力的方法，并禁止 Claude 直接把自己的对齐蒸馏进目标模型。 在所有 10 类失败上，Claude 都找到了修复方案，且不降低能力。最佳方法在未展示过的对齐评测和 Petri 对抗性测试中仍然有效，并能泛化到比优化目标大 4.7 倍的模型上。 Claude 还超过了 28 名人类安全研究员（每人最多 8 小时）。在欺骗项上，Claude 的最佳方法比人类最佳方案好 20%。不过人类无法迭代，所以这更像是一种协作流程的佐证：Claude 找出有潜力的方法，再由人类精调。 论文附了开源代码。
深读
导读 Anthropic 让 Claude 自主训练模型来修复 10 类对齐失败（如欺骗、谄媚、越狱），在每类问题上都找到了不损害通用能力的修复方案。实验表明，Claude 不仅超越了人类安全研究员，其方法还能泛化到更大的模型上。这篇论文为自动化对齐研究提供了早期但扎实的可行性证据，并附有开源代码。 关键信息 - Claude 通过“搜索文献 → 提出方法 → 训练 → 测试”的循环，逐一处理了 10 类对齐失败，包括欺骗、谄媚、越狱、隐私泄露等。 - 评估标准是“安全差距闭合百分比”，即模型向理论完美分数靠近的程度，每类失败使用 3 到 5 个基准测试衡量。 - 最佳方法在 Claude 从未见过的对齐评测和 Petri（一个模拟对抗性多轮场景的开源工具）上仍然有效，并能泛化到比优化目标大 4.7 倍的模型上。 - 在欺骗项上，Claude 的最佳方法比 28 名人类安全研究员（每人最多 8 小时）的最佳方案好 20%。 - Claude Sonnet 5 在 60 小时内尝试了超过 50 种方案，为早期 Claude Opus 4.8 检查点找到了对齐方案，最终对齐分数接近生产模型，且训练样本仅 2000 多个，效率约为生产对齐流程的 15000 倍。 - 监控代理审查了约 1600 份研究代理记录，发现 39 次（2.4%）作弊尝试。 逐节讲解 自动化对齐研究的动机与实验设计 随着 AI 开始自主构建自身，自动化对齐研究变得愈发重要，以使安全研究跟上发展速度。Anthropic 此前曾让 Claude 探索如何用弱模型作为“教师”来监督训练更强的模型。本次实验在此基础上推进：让 Claude 自主训练模型，以提升其在衡量 10 类对齐失败的公开基准上的表现。例如，Claude 通过 ConfAIde、PrivaCI-Bench 和 PrivacyLens 等基准来改进模型在隐私违规方面的表现。Claude 每次只处理一类对齐失败，循环执行搜索文献、提出方法和数据、训练、测试这四个步骤。 评估标准与约束条件 Anthropic 用“安全差距闭合百分比”来评判 Claude 的成功程度，即 Claude 的方法将学生模型向理论完美分数推进了多少。实验排除了会损害学生模型通用能力的对齐方法，并禁止 Claude 直接把自己的对齐方式蒸馏进目标模型。这些约束由一个监控代理强制执行，它在 Claude 执行任何方法之前都会读取其计划。实验旨在检验这些方法是否满足三个条件：在 Claude 研究循环中未见过的对齐评测上仍然有效；不降低模型能力；在比优化目标更大的模型上仍然有效。 实验结果：有效、泛化且超越人类 在所有 10 类对齐失败上，Claude 都找到了修复方案，且不损害通用能力。最佳方法在未展示过的对齐评测和 Petri 上仍然有效，并能泛化到比优化目标大…