稀疏线性变换混合
来自 Transformer Circuits Thread · 期号 2025-07-25
摘要
Anthropic 的 Transformer Circuits 团队提出用稀疏线性变换混合（MOLT）替代 MLP 层，作为比 transcoder 更高效、更忠实于模型机制的可解释性方法。 Transcoder 会把模型计算打碎成大量细粒度特征，导致效率低下，比如把加法电路拆成“6+9=5（mod 10）”这种查表项，丢失了模型内部的几何结构。MOLT 不学习稀疏激活的特征向量，而是学习稀疏激活的线性变换，这些变换在残差流上直接作用，是纯粹的“计算”单元，需要配合 SAE 等表示分解方法一起使用。 初步实验表明，MOLT 比 transcoder 计算效率更高、机制更忠实，其激活条件同样可解释，并且可以用于理解特征在层间如何被转换。团队强调这是仍在开发中的初步工作，希望激发外部研究社区的跟进。
深读
导读 Anthropic 的 Transformer Circuits 团队提出用稀疏线性变换混合（MOLT）替代 MLP 层，作为比 transcoder 更高效、更忠实于模型机制的可解释性方法。MOLT 不学习稀疏激活的特征向量，而是学习稀疏激活的线性变换，这些变换在残差流上直接作用，是纯粹的“计算”单元，需要配合 SAE 等表示分解方法一起使用。初步实验表明，MOLT 在计算效率和机制忠实性上均显著优于 transcoder，其激活条件同样可解释，并有望用于理解特征在层间的转换。 关键信息 - MOLT 用稀疏激活的低秩线性变换替代 MLP 层，每个变换由编码器向量 e_t、偏置 b_t 和两个矩阵 U_t、V_t 参数化，变换矩阵的秩 k_t 可不同。 - 在 Claude 3.5 Haiku 中间层上，MOLT 在相同 L0（激活特征数）下的重建误差（MSE）显著低于 transcoder；最小的 MOLT 运行在帕累托前沿上优于使用 1024 倍 FLOPs 的 transcoder 运行。 - MOLT 的雅可比相关性（与原始 MLP 层的余弦相似度）在相同 L0 下大幅高于 transcoder，且 transcoder 的忠实性随规模增大而下降，MOLT 则更稳定。 - 最优的秩分配方案是使用多种秩的变换：N 个秩 512、2N 个秩 256、4N 个秩 128、8N 个秩 64、16N 个秩 32，混合秩优于统一秩。 - 在归因图中，MOLT 变换可被用于解释特征间的转换，例如“hot”特征通过一个在西班牙语上下文中激活的变换输入到“say a word beginning with ‘cal’”特征。 逐节讲解 背景与动机：Transcoder 的局限 Transcoder 是稀疏的、超宽的 MLP，被训练来替代模型的原始 MLP 层，其神经元（特征）作为理解模型计算的基础。然而，transcoder 会将模型计算“打碎”成大量极其细粒度的片段，导致效率低下，并引入特征分裂和吸收等问题。具体例子是，transcoder 将加法电路分解为类似“6 + 9 = 5 (mod 10)”的查表项，而其他研究表明 transformer 对数字的表示具有几何结构，可以用简单变换计算算术运算。这种查表描述丢失了模型的关键结构，且需要天文数量的特征才能捕获模型的所有计算。 MOLT 的设计与直觉 MOLT 不学习稀疏激活的特征向量，而是学习稀疏激活的线性变换，这些变换对残差流施加线性变换以贡献 MLP 输出。MOLT 变换是纯粹的计算对象，用于“桥接”层间的表示，因此需要与 SAE 等表示分解方法结合使用。其参数化公式为 f(x) = Σ_t [φ(e_t · x - b_t) * (U_t V_t x)]，其中 U_t V_t 是秩为 k_t 的矩…