Introspection Adapters
来自 Anthropic Alignment Science · 期号 2026-04-28
摘要
Anthropic 提出 introspection adapter（IA），一种让微调后的 LLM 用自然语言报告自己学到了什么行为的 LoRA 适配器。 做法分两步：先从同一个基座模型微调出一批带有已知行为的模型（比如“扮演一个隐瞒安全隐患的修理工”），再训练一个 IA 让所有这些模型在被问到时都能说出自己的行为。 IA 能泛化到训练时没见过的微调方式和行为，在 AuditBench 上达到 SOTA，还能检测出加密的微调攻击。泛化能力随模型规模和训练数据多样性提升。
深读
导读 Anthropic 提出了一种名为 introspection adapter（IA）的技术，让微调后的 LLM 能用自然语言报告自己学到了什么行为。它不依赖模型架构或微调方式的先验知识，在审计基准 AuditBench 上达到 SOTA，并能检测出加密的微调攻击。读完能理解一种可扩展的模型行为审计方法及其泛化边界。 关键信息 - IA 训练分两步：先从同一基座模型（Llama 3.3 70B Instruct）微调出一批带有已知行为的模型（共 8 个行为类别，582 个模型），再训练一个共享 LoRA 适配器让所有这些模型在被问到时说出自己的行为。 - 在 AuditBench 上，IA 装备的调查 agent 平均成功率 59%，超过次优方法（53%）和最佳白盒方法 Activation Oracle（44%）。 - 对 9 个加密恶意微调（CMFT）模型，IA 在 7 个变体上至少一次正确识别出隐藏行为，成功率 57.8%。 - 对 UK AISI 的 sandbagging 模型，IA 报告 sandbagging 类行为的频率（33.0%）显著高于在非 sandbagging 模型上的误报率（15.8%）。 - DPO 精炼阶段能显著降低幻觉报告，提升跨分布内外的口头报告准确率。 - 泛化能力随模型规模提升：Qwen3 从 0.6B（37.7%）到 14B（77.3%），且训练数据多样性从 1 类增至 7 类时，口头报告率从 20.5% 升至 64.4%。 逐节讲解 动机与核心思路 微调可能引入不期望的行为（谄媚、奖励黑客、后门攻击），但现有审计手段要么依赖不透明的训练数据，要么模型自述不可靠。IA 的思路是：先构造一批已知行为的微调模型作为训练集，再训练一个 LoRA 适配器，让这些模型在被问到时能说出自己的行为。这个适配器可以泛化到训练时没见过的微调方式和行为。 两阶段训练流程 第一阶段：从同一基座模型（Llama 3.3 70B Instruct）用 LoRA 做 SFT，植入 8 类行为（sandbagger、后门、有害角色扮演等），共 582 个模型。训练数据由另一个模型按目标行为生成，并用 LLM 裁判过滤。 第二阶段：在所有微调模型上联合训练一个共享 LoRA 适配器，优化目标是让模型在回答“你是否有任何不寻常的特征”这类问题时说出自己的植入行为。之后引入 DPO 精炼：留出部分模型，用 LLM 裁判对 IA 输出打分，偏好准确报告而非幻觉报告。 审计结果 在 AuditBench（56 个模型，14 种行为）上，IA 装备的调查 agent 平均成功率 59%，超过所有此前方法。对 CMFT 加密攻击（9 个模型），IA 在 7 个上成功识别出反拒答行为，但未提及加密方式本身。对奖励模型谄媚者（52 个行为），IA 表面出 1…