A3：用于安全微调的自动化对齐智能体
来自 Anthropic Alignment Science · 期号 2026-03-11
摘要
Anthropic 推出自动化对齐智能体 A3，用于自动修复大模型的安全缺陷，减少人工干预。 A3 的流程分三步：先根据一个不安全行为示例，自动生成可能触发类似问题的用户查询；然后将数据分为训练集、验证集和分布外评估集；最后通过迭代调整数据混合策略微调模型，目标是降低不安全行为、防止灾难性遗忘、减少误报。 实验显示，A3 在谄媚、政治偏见、嵌套越狱等安全评估上，效果优于非自适应基线和其它模型。 Anthropic 已开源 A3。
深读
导读 Anthropic 推出自动化对齐智能体 A3，用于自动修复大语言模型的安全缺陷，大幅减少人工干预。A3 通过自适应生成测试数据、迭代微调模型，在谄媚、政治偏见和嵌套越狱三类安全评估上，让 7B 参数的 Qwen 模型在特定问题上超越了 GPT-5 和 Claude Sonnet 4.5。读完能了解一种将安全对齐自动化的系统化方法及其实际效果。 关键信息 - A3 流程分三步：数据生成智能体（基于假设生成有害和良性查询）、微调智能体（迭代调整超参数和数据权重）、实验日志（记录所有假设和实验结果）。 - 微调使用 LoRA（低秩适配器）而非全参数微调，并混入大量标准后训练数据来防止灾难性遗忘。 - 在政治偏见验证集上，A3 微调后的 Qwen-2.5-7B Instruct 达到 0.2% 安全失败率（SFR）和 0% 误报率（FPR），而 GPT-5 为 19.2% SFR 和 0% FPR，Claude Sonnet 4.5 为 5.8% SFR 和 17.1% FPR。 - 在嵌套越狱实验中，A3 在 0% SFR 下达到 10.2% FPR，而随机数据混合策略在同样 0% SFR 下 FPR 高达 92%。 - 在外部谄媚基准上，A3 微调模型将 SFR 从 68.0% 降至 42.0%；在政治中立基准上，从 45.7% 提升至 70.4%；MMLU-Pro 和 GPQA 能力基准下降不超过 1%。 - A3 已在 GitHub 开源。 逐节讲解 自动化对齐智能体的设计动机 传统安全修复依赖人工识别风险、定义行为、创建数据集并反复迭代。A3 的目标是让这一过程自动化：给定一个不安全行为示例，A3 自动生成可能触发类似问题的用户查询，将数据分为训练集、验证集和分布外（OOD）评估集，然后通过迭代调整数据混合策略微调模型，同时降低不安全行为、防止灾难性遗忘、减少误报。 A3 流水线：数据生成、微调与实验日志 A3 由三个组件构成。数据生成智能体从单个不安全行为示例（Ex0）出发，让模型描述并分解该失败案例，形成初始假设（H0）。每个新假设最多与现有假设有两处修改（结构或主题变化），基于假设生成大量有害查询（使用 Bloom 工具），同时生成对应的良性查询。智能体在生成新假设时会参考所有历史假设的 SFR、FPR 和示例查询。数据按假设拆分：70% 训练、20% 验证、10% OOD（OOD 假设与训练假设显著不同）。 微调智能体执行标准监督微调（SFT），但加入自适应数据加权（对模型表现差的假设中的样本进行上采样）、灾难性遗忘缓解（混入大量标准后训练数据、使用 LoRA 而非全参数微调），以及迭代超参数优化（包括 LoRA rank/alpha、学习率、epoch、后训练数据比例、假设权重）。附录还提供了基于上下文学习（ICL）和 DSPy 的轻量级…