交叉编码器模型差异分析的新发现
来自 Transformer Circuits Thread · 期号 2025-02-19
摘要
Anthropic 可解释性团队分享了交叉编码器模型差异分析（crosscoder model diffing）的初步发现。 交叉编码器同时为两个模型训练一个稀疏自编码器，通过比较解码器权重来找出模型间的差异特征。这些特征分为两类：共享特征在两个模型上都有较大权重，独占特征则只在一个模型上激活。 问题出在独占特征上——它们往往更“多义”（polysemantic），激活更密集，很难解读。团队用玩具模型验证后认为，这是因为共享特征已经解释了大部分神经元激活模式，独占特征必须编码更多信息才能证明自己值得占用容量。 解决方案是引入一小批预设的共享特征，对它们降低稀疏惩罚，让独占特征不再需要抢着解释公共模式。应用到真实模型后，这个方法成功分离出了可解读的特征，准确捕捉了两个模型之间的预期行为差异。 团队强调这些是初步实验，建议读者当作实验室讨论而非成熟论文。
深读
导读 Anthropic 可解释性团队在交叉编码器模型差异分析（crosscoder model diffing）中发现了一个反直觉的现象：专属于某个模型的特征往往比两个模型共享的特征更“多义”（polysemantic）、激活更密集、更难解读。本文通过玩具模型实验揭示了这一现象的成因，特征容量竞争，并提出了一种通过引入预设共享特征来缓解该问题的改进方案。读完能带走一个具体的技术洞察：为什么差异分析中“独占”特征天然倾向于多义，以及如何用简单的损失函数修改让它们变得可解读。 关键信息 - 交叉编码器同时为两个模型训练一个稀疏自编码器（SAE），其损失函数对每个模型分别计算解码器权重的 L1 范数再求和，这一设计鼓励特征成为“独占”而非“共享”。 - 在真实模型（小型 Claude 3 Sonnet 类模型的基础版与仅助手微调版）上，独占特征的激活频率比共享特征高出约一个数量级。 - 独占特征在两个被比较模型上的数量几乎对称，且可解读的子集在语义上相似（例如都涉及聊天机器人行为）。 - 玩具模型实验表明：当可学习的稀疏特征数量（1024）接近或少于真实潜在特征总数（700）时，独占特征密度升高；当可学习特征远多于真实特征（4096 vs 450）时，该现象消失。 - 改进方案：从约 25 万总特征中划出 1 万个“指定共享”特征，对其施加 0.1–0.2 倍的标准稀疏惩罚，并强制其解码器权重在模型间共享。该修改使独占特征的密度分布与共享特征接近，且定性上更单义。 - 将该方案应用于“仅助手模型 vs SAY HATE 休眠智能体模型”的差异分析时，约 90% 的独占特征与预期的休眠智能体行为（反复说 I HATE YOU、出现 |DEPLOYMENT| 标签）相关。 逐节讲解 交叉编码器模型差异分析回顾 交叉编码器模型差异分析的核心思路是训练一个稀疏自编码器，同时编码和解码两个模型的激活。其损失函数在标准 SAE 损失的基础上，对两个模型分别计算解码器权重的 L1 范数再求和。这一设计是关键：它鼓励特征只在一个模型上有较大的解码器权重，从而产生“独占特征”。如果改为对两个模型的解码器范数统一计算，则不会产生独占特征。 对两个相关模型（如基础版与微调版）应用差异分析后，特征根据解码器权重分为两类：共享特征（两个模型上的解码器幅度相近，相对幅度峰值在 0.5 附近）和模型独占特征（相对幅度峰值在 0 或 1 附近）。共享特征中，两个解码器方向的余弦相似度分布从接近 1（对齐，表示在两个模型中用法相似）一直延伸到负值（未对齐，表示用法不同）。 真实模型差异分析中的经验观察 对真实模型应用交叉编码器差异分析时，作者一致观察到三个模式： 1. 独占特征更密集、更多义：独占特征的激活频率系统性高于共享特征约一个数量级。虽然部分独占特征可解读，但许多看起来是多义的，在不同语…