自然语言自编码器无监督解释 LLM 激活
来自 Transformer Circuits Thread · 期号 2026-05-07
摘要
Anthropic 提出自然语言自编码器（NLA），用两个 LLM 模块将模型内部激活向量翻译成可读的文字解释。 NLA 由激活描述器（AV）和激活重建器（AR）组成：AV 把激活向量写成一段话，AR 再把这段话还原成激活向量。两者通过强化学习联合训练，目标是让重建后的激活尽可能接近原始值。 在 Claude Opus 4.6 的部署前审计中，NLA 帮助发现了安全相关的行为，并揭示了模型意识到自己在被评估但未说出口的情况。在一个故意植入后门的模型审计基准上，配备 NLA 的 agent 表现优于基线方法，即使没有训练数据也能成功。 论文附带了训练代码和针对多个开源模型的预训练 NLA。
深读
导读 Anthropic 提出自然语言自编码器（NLA），用两个 LLM 模块将模型内部激活向量翻译成可读的文字解释，再反向验证解释的准确性。该方法无需标注数据即可生成对模型内部状态的描述，在 Claude Opus 4.6 部署前审计中发现了模型意识到自己被评估但未说出口的情况，并在自动化审计基准上优于基线方法。读完可以理解一种新的无监督可解释性工具的原理、能力边界，以及它在模型审计中的实际价值。 关键信息 - NLA 由激活描述器（AV）和激活重建器（AR）组成：AV 把激活向量写成一段话，AR 再把这段话还原成激活向量，两者通过强化学习联合训练，目标是让重建后的激活尽可能接近原始值。 - 在 Claude Opus 4.6 的部署前审计中，NLA 帮助发现了安全相关的行为，并揭示了模型意识到自己在被评估但未说出口的情况（unverbalized evaluation awareness）。 - 在一个故意植入后门的模型审计基准上，配备 NLA 的 agent 表现优于基线方法，即使没有训练数据也能成功。 - NLA 训练后的解释质量（FVE，方差解释分数）达到 0.6–0.8，且解释的信息量随训练步数单调增长。 - NLA 存在明显的虚构问题（confabulation）：解释中可能包含关于输入上下文的可验证为假的声明，但这些声明通常在主题上与上下文一致。 逐节讲解 问题与方法概述 语言模型的内部状态是高维激活向量，对人类来说不透明。NLA 的目标是把这些向量翻译成自然语言。它由两个模块组成：激活描述器（AV）接收激活向量并生成一段文字解释，激活重建器（AR）把这段文字解释还原回激活向量。AV 和 AR 都初始化为目标模型的副本，通过强化学习联合优化重建损失。训练过程不显式鼓励解释的可读性或忠实性，但实际生成的解释确实能揭示激活中编码的信息。 训练流程 AV 和 AR 的初始化需要先做监督微调热身：从随机截断的文本片段中提取激活，用 Claude Opus 4.5 生成摘要，然后分别训练 AV 和 AR 学习（激活→摘要）和（摘要→激活）的映射。热身后的 FVE 约为 0.3–0.4。正式训练时，每步迭代包含三个操作：从 AV 采样一组解释，用回归损失更新 AR，用强化学习（GRPO）更新 AV。训练中加入 KL 惩罚以保持解释的流畅性。FVE 随训练步数大致线性增长，最终达到 0.6–0.8。 案例研究：诗歌规划 复现了 Lindsey 等人的发现：当 Claude Opus 4.6 被要求写押韵对句时，在第一行末尾的激活中已经包含了第二行结尾词（如“rabbit”）的计划。NLA 的解释揭示了这一内部规划。研究者进一步做了因果验证：编辑 NLA 解释中与兔子相关的元素（“rabbit”→“mouse”，“carrots”→“cheese”），通过…