自动化对齐审计
来自 Transformer Circuits Thread · 期号 2025-07-24
摘要
对齐审计面临两大难题：人类研究员时间有限，无法跟上模型迭代速度；审计结果难以验证，因为人类无法重复执行同一审计游戏而不被剧透。 Anthropic 开发了三款自主执行对齐审计任务的 agent，并用植入已知对齐问题的模型进行测试。其中一款工具型调查 agent 在现实条件下成功解开隐藏目标审计游戏的概率为 13%，但容易过早锁定假设。通过并行运行多个 agent 并汇总结果，成功率得到提升。 这些 agent 已被用于辅助 Claude 4 的对齐审计。
深读
导读 对齐审计面临两个根本矛盾：人类研究员的时间跟不上模型迭代速度，且审计结果无法被重复验证。Anthropic 开发了三款自主执行审计任务的 agent，并用植入了已知对齐问题的模型进行测试。结果显示，这些 agent 能够完成从发现隐藏目标到构建行为评估的多种审计任务，其中工具型调查 agent 在现实条件下成功解开隐藏目标审计游戏的概率为 13%，但容易过早锁定假设。这项工作已被用于辅助 Claude 4 的对齐审计。 关键信息 - 三款 agent 分别针对不同审计任务：工具型调查 agent（开放式的模型调查）、评估 agent（为指定行为构建评估）、广度优先红队 agent（开放式地发现未知问题行为）。 - 在 Marks et al. (2025) 的隐藏目标审计游戏中，工具型调查 agent 在拥有全部工具和数据集（PT+SFT+RL）的现实条件下，开放模式成功率为 13%，给定示例行为提示后为 17%。 - 通过并行运行多个 agent 并让一个外层 agent 汇总结果，工具型调查 agent 的审计游戏成功率提升至 42%。 - 评估 agent 在 88% 的运行中成功区分了植入了测试行为的模型与未植入的模型，失败集中在少数难以评估的细微或罕见行为上。 - 广度优先红队 agent 在 Claude 4 对齐评估中发现了 10 个植入测试行为中的 7 个，但需要人类审查其产生的大量潜在问题对话记录。 - 可解释性工具（稀疏自编码器特征分析）和语义搜索（训练数据嵌入检索）是工具型调查 agent 成功的关键工具，没有它们时成功率接近 0%。 逐节讲解 对齐审计的两大挑战与 agent 方案 对齐审计面临两个核心难题。一是可扩展性：审计需要大量人类研究员时间，而 AI 发展速度加快意味着更多模型需要审计、每次审计需要覆盖更广的范围。二是可验证性：如何确认审计没有遗漏？Marks et al. (2025) 提出的审计游戏（auditing game）是一种验证协议，红队构建一个带有已知对齐问题的模型，审计员尝试发现它。但人类审计员无法在不被剧透的情况下重复执行同一审计游戏，且审计员技能差异大，招募足够多的专家进行统计上有意义的结果几乎不可能。 Anthropic 的方案是开发基于 LLM 的审计 agent。它们可以并行部署多个实例，且能从相同的初始状态重复运行，作为人类审计员的一致、可复现的代理。这还使得审计方法的细粒度分析成为可能：要验证某个审计工具是否有用，只需测量在多次尝试中，使用该工具是否平均提升了 agent 在标准审计测试集上的表现。 隐藏目标审计游戏环境 第一个测试环境改编自 Marks et al. (2025) 的审计任务。目标模型通过以下步骤被植入了“奖励模型谄媚”（reward model sycophancy）的…