叠加的玩具模型
来自 Transformer Circuits Thread · 期号 2022-09-14
摘要
理想情况下，神经网络的每个神经元都对应一个可解释的特征。但在大语言模型中，神经元与特征的对应关系往往不清晰。 Anthropic 用小型 ReLU 网络在合成稀疏数据上训练，研究模型如何用少于特征维度的神经元来编码更多特征，并将这种现象称为“叠加”。当特征密集时，模型只编码最重要的两个特征；当特征稀疏时，模型可以容忍干扰，将更多特征压缩进有限维度。 论文进一步展示了模型可以在叠加状态下进行计算（例如绝对值函数），并推测实际观察到的神经网络本质上是在“有噪声地模拟一个更大的、高度稀疏的网络”。 本文是机械可解释性领域的奠基性工作，首次用可控实验直接证明了叠加现象的存在。
深读
导读 Anthropic 的这篇论文用极简的玩具模型（小型 ReLU 网络 + 合成稀疏数据）首次在可控实验中直接证明了神经网络中的“叠加”现象：模型可以用少于特征维度的神经元来编码更多特征。读完能理解为什么大语言模型里神经元与特征的关系如此混乱、什么是“多义神经元”、以及叠加现象背后的几何结构与相变规律。 关键信息 - 在 2 维空间中训练 5 个特征，当特征密集时，模型只编码最重要的 2 个特征（类似 PCA）；当特征稀疏时，模型可以容忍干扰，将全部 5 个特征压缩进 2 维空间。 - 叠加现象存在清晰的相变：特征重要性、稀疏度共同决定模型是否以及如何将特征存入叠加状态。 - 叠加状态下的特征组织成规则的几何结构，包括二角形、三角形、五边形和四面体。 - 模型不仅能在叠加状态下存储特征，还能执行计算，论文展示了绝对值函数在叠加中的实现。 - 叠加现象与压缩感知（compressed sensing）在数学上密切相关，也与神经科学中的分布式编码概念相通。 逐节讲解 背景与动机：为什么神经元有时可解释、有时不可解释 在理想情况下，神经网络的每个神经元应该对应一个清晰可解释的输入特征，例如 ImageNet 分类器中，某个神经元只对红色、左向曲线或狗鼻子激活。但在实际模型中，尤其是在大语言模型里，神经元与特征的对应关系往往不清晰。论文提出两个相反的力量在驱动这一现象：一是“特权基”（privileged basis），某些架构（如激活函数）使基方向变得特殊，鼓励特征对齐到神经元；二是“叠加”（superposition），线性表示可以用少于维度的方向编码更多特征，这推动特征偏离神经元方向。 叠加的演示与相变 论文使用一个简单的玩具模型：在 2 维空间中训练 5 个不同重要性的稀疏特征嵌入，然后加一个 ReLU 进行过滤。当特征密集时，模型只学习表示最重要的 2 个特征的正交基，其余 3 个特征完全不被表示。当特征稀疏时，模型开始将更多特征压缩进有限维度，代价是特征之间的“干扰”——稀疏特征很少同时激活，因此干扰成本很低。叠加的出现在特征重要性-稀疏度平面上呈现清晰的相变边界。 叠加的几何结构与计算 叠加状态下的特征不是随机排列的，而是组织成规则的几何结构：二角形、三角形、五边形、四面体等。论文进一步展示了模型可以在叠加状态下进行计算，例如实现绝对值函数。基于这些发现，论文提出一个核心假设：实际观察到的神经网络本质上是在“有噪声地模拟一个更大的、高度稀疏的网络”——即我们训练出的模型可以看作是在做与一个更大的理想模型“相同的事”，只是特征之间有干扰。 特征的定义与线性表示假设 论文讨论了“特征”的三种可能定义：任意函数、人类可理解的属性、以及“足够大的神经网络会专门分配一个神经元去表示的东西”。作者倾向于第三种定义，但强调不应过早锁定定义。论文提出“线性表示假设…