表征小型语言模型中的干扰权重
来自 Transformer Circuits Thread · 期号 2026-08-21
摘要
机械可解释性的一个雄心是像读程序一样读神经网络，但叠加（superposition）让这件事很难。 模型为了最大化容量，会把多个特征塞进同一个低维投影里。即使找到了完美的特征基，特征之间的虚拟权重仍然会被迫叠加，产生大量干扰权重——它们在线性层面连接了从不一起出现的特征，让电路图变得混乱。 Anthropic 训练了一个一层 transformer，把它的 token、位置、特征、logit 之间的虚拟权重全部拆开，然后按两个维度打分：有效性（对输出的影响大小）和有用性（对损失的影响方向）。 结果发现，绝大多数虚拟权重在数百万 token 上从未被同时激活过——源特征和目标特征根本不一起出现，但权重却在那里。而且，一个权重对损失的影响方向（正或负）能准确预测它是否属于模型实际学习的电路。 这为「干扰权重可以靠损失影响来识别」提供了第一个在真实训练过的 transformer 上的证据。 论文附了开源代码。