注意力机制研究进展
来自 Transformer Circuits Thread · 期号 2025-04-28
摘要
Anthropic 的可解释性团队分享了他们在注意力机制研究上的最新进展。 他们发现了注意力叠加（attention superposition）和跨层注意力表征的显著证据。具体来说，他们观察到特征的 QK 条件（信息从哪里来/到哪里去）和 OV 条件（传递什么信息）是耦合的，并且特征在 OV 维度上呈现连续谱，而非之前预期的要么是单维度的跳跃三元组，要么是高维度的信息复制。 团队认为，当前的核心难题是理解模型为何会关注特定位置，即注意力模式的形成机制。他们提出了一种名为 QK 对角化的方法，作为解决这一问题的有希望的前进路径。 本文是研究进展报告，而非成熟论文，适合对可解释性有深入研究的读者。
深读
导读 Anthropic 可解释性团队发布了一份关于注意力机制研究进展的详细报告。文章分享了他们在注意力叠加、跨层注意力表征以及注意力模式形成机制上的探索，并提出了 QK 对角化这一有前景的研究路径。对于关注 Transformer 可解释性、特别是注意力机制内部运作的从业者，这是一份来自一线团队的实战记录，能帮助理解当前该领域面临的核心难题与可能的解法。 关键信息 - 团队训练了 100,000 个特征的 Multi-Token Transcoders (MTC) 在 18 层 Transformer 上，发现许多特征展现出清晰可解释的注意力模式，包括一个能关注到异常输入（如在一串 1 中出现的 2）的特征。 - 将 MTC 特征限制为单头注意力时，在相同 MSE 下 L0 通常差 2-4 倍，且特征质量明显下降，这为注意力叠加假说提供了中等强度的证据。 - 通过 k-means 聚类分析 MTC 的头加载向量，发现簇大小呈现幂律分布，而非离散的两类（跳跃三元组 vs 高维复制），暗示注意力行为在 OV 维度上更接近连续谱。 - 在两层（第 4 层和第 10 层）上训练的 Attention Value SAE 相比两个单层 SAE 的组合，在固定归一化 MSE 下 L0 降低约一半，这是跨层注意力表征的显著证据。 - 团队认为当前核心难题是理解注意力模式的形成机制，并提出了 QK 对角化作为有希望的前进路径。 逐节讲解 问题分解与研究策略 团队将理解注意力机制的问题拆解为六个子问题：层内注意力头之间的叠加程度、QK 条件与 OV 条件的耦合性、OV 电路的多维性、QK 电路的多维性、跨层注意力特征的分布、以及注意力模式的形成机制。他们最初尝试了雄心勃勃的“注意力替换层”方法，训练一个宽注意力层来模仿目标模型的行为，并通过正则化使其保持简单。虽然取得了一些初步成果（如识别出实现特定跳跃三元组和归纳的头），但遇到了显著的 ML 工程困难，最终转向通过更简单的实验分别获取不同子问题的信号。 Multi-Token Transcoders 的发现 MTC 是一种专门设计的架构，它接收残差流作为输入，通过编码器、注意力操作和解码器来预测层输出。其注意力模式的形成方式与注意力叠加的玩具模型完全相同。团队在 18 层模型上训练了 100,000 个特征的 MTC，发现了多个重要现象：许多特征展现出干净可解释的注意力模式（如关注异常输入、追踪情感反转前的“效价”）；归纳特征在头加载向量空间中形成强聚类；聚类分析还发现了与句子/从句位置识别、分隔符预测、代码上下文归纳等语义相关的簇。通过将 MTC 与单头基线对比，团队发现限制为单头后性能显著下降，这支持了注意力叠加假说。 QK/OV 耦合与 OV 维度连续谱 团队通过多种基线对比来检验 QK 条件与 OV 条件是否自然耦…