干扰权重的玩具模型
来自 Transformer Circuits Thread · 期号 2025-07-29
摘要
机械可解释性研究一直面临一个问题：当模型把多个特征叠加到同一个神经元上时，连接这些特征的权重也会被迫叠加在一起。 Anthropic 把这种现象称为“干扰权重”。它们虽然真实描述了模型内部的连接，但对模型本身没有帮助——模型并不“想要”它们，微调后它们就会消失。 干扰权重是全局电路分析的主要障碍：即使你找到了正确的特征，当你把权重“提升”到特征空间时，其中很多权重对应的只是特征之间的干扰，而不是有意义的计算。 本文用玩具模型验证了干扰权重的存在，并讨论了多种定义方式。作者强调这只是一份非常初步的笔记，类似实验室会议上的几分钟分享，而非成熟论文。