将稀疏自编码器扩展到 Claude 3 Sonnet
来自 Transformer Circuits Thread · 期号 2024-05-21
摘要
Anthropic 成功将稀疏自编码器扩展到生产级模型 Claude 3 Sonnet，从中提取出可解释的特征。 这些特征高度抽象，覆盖名人、城市、代码类型签名等概念，且具有多语言和多模态特性——同一特征在文本和图像中都能被激活。 论文还发现了与安全相关的特征，包括偏见、欺骗、谄媚和危险内容。但作者提醒，特征的存在不等于模型会实际产生有害行为，两者之间还有很大距离。 这是可解释性研究从玩具模型走向实用模型的重要一步。
深读
导读 Anthropic 成功将稀疏自编码器（SAE）从单层玩具模型扩展到生产级模型 Claude 3 Sonnet，从中提取出高度抽象、可解释的特征。这篇论文证明了可解释性方法在实用规模模型上依然有效，是机械可解释性从实验室走向工程的重要里程碑。读完能理解 SAE 如何在大模型上工作、提取出的特征有多抽象、以及这些特征与安全的关系，以及为什么不能过度解读。 关键信息 - 研究对象是 Claude 3 Sonnet（2024 年 3 月 4 日发布的 3.0 版本），Anthropic 的中等规模生产模型，是微调后的版本而非基座模型。 - 训练了三个不同规模的 SAE：约 100 万、400 万和 3400 万个特征；每个 token 上平均活跃特征数少于 300 个，SAE 重构至少解释了模型激活方差的 65%。 - 3400 万特征 SAE 中约 65% 的特征在训练结束时“死亡”（在 10⁷ 个 token 样本上从未激活），400 万特征 SAE 的死亡比例约为 35%，100 万特征 SAE 约为 2%。 - 发现的特征覆盖名人、城市、代码类型签名等抽象概念，许多特征具有多语言和多模态特性，同一特征在文本和图像中都能被激活。 - 发现了与安全相关的特征，包括代码安全漏洞和后门、偏见（从显性歧视到隐性偏见）、欺骗与权力寻求、谄媚以及危险/犯罪内容（如生物武器）。 - 作者明确警告：特征的存在不等于模型会实际产生有害行为，知道谎言、能够说谎和实际说谎之间有本质区别。 逐节讲解 从玩具模型到生产级模型的扩展 八个月前，Anthropic 在单层 transformer 上证明了 SAE 可以恢复单义特征，但当时的主要担忧是这种方法能否扩展到最先进的 transformer。本文回答了这个问题：将 SAE 成功应用于 Claude 3 Sonnet。SAE 的核心思路是将模型激活分解为稀疏活跃的组件：编码器将激活映射到更高维空间（通过线性变换加 ReLU），解码器再通过线性变换重构原始激活。训练目标是最小化重构误差与 L1 稀疏惩罚的组合。论文聚焦于模型中间层的残差流，理由是残差流维度比 MLP 层小、训练成本更低，且理论上能缓解“跨层叠加”问题。 缩放定律指导 SAE 训练 训练 SAE 的计算成本很高，需要理解如何分配计算预算。论文将 SAE 的损失函数（重构 MSE 与 L1 惩罚的加权组合）作为字典质量的代理指标，并对其应用缩放定律框架。关键发现：在测试范围内，给定计算最优的训练步数和特征数，损失随计算量增加近似按幂律下降；随着计算预算增加，最优特征数比最优训练步数增长得更快（这一趋势在更高计算预算下可能变化）；最优学习率也随计算预算按幂律下降。 特征的可解释性验证 论文通过四个具体特征展示了 SAE 提取的特征确实可解释：金门大桥特征（34M/3…