Circuits 更新：2024 年 7 月
来自 Transformer Circuits Thread · 期号 2024-07-31
摘要
Anthropic 可解释性团队发布月度更新，分享了五项他们认为通往神经网络机制理解的关键障碍。 团队认为，叠加问题已取得显著进展，但仍有五个新挑战需要面对。 缺失特征：当前方法可能只提取了特征中的一小部分，大量罕见特征可能永远无法解析，形成一种神经网络暗物质。 跨层叠加：当模型层数很多而电路较浅时，相邻层的神经元对梯度下降来说差别不大，导致一个特征可能不明确属于某一层，而现有字典学习方法无法处理这种情况。 注意力叠加：团队认为注意力头之间也可能存在叠加，这意味着我们可能遗漏了理解神经网络计算的基本单元，比如比