Circuits 更新：2024 年 9 月
来自 Transformer Circuits Thread · 期号 2024-10-01
摘要
Anthropic 可解释性团队发布了 2024 年 9 月的 Circuits 更新，分享了多项正在进行中的研究思路和初步实验。 团队复现了 Gould 等人发现的“后继注意力头”（successor heads）。在 18 层模型中，这些注意力头负责处理序列中的“后继”关系，例如将数字 2 映射到 3、星期三映射到星期四。通过权重检查和独立成分分析（ICA），团队发现排名最高的后继头能将约 80% 的序数标记正确映射到其后继。 另一项发现是，在稀疏自编码器（SAE）的训练数据中，对某个主题进行过采样，会导致该主题相关的特征被分解得更细、更具体。这为研究者提供了一种控制 SAE 特征粒度的实用方法。 这些结果被定位为实验室内部的初步分享，而非成熟的论文。