Circuits 更新：2026 年 5 月
来自 Transformer Circuits Thread · 期号 2026-06-01
摘要
Anthropic 可解释性团队发布了 2026 年 5 月的 Circuits 更新，包含多项仍在发展中的研究思路。 核心发现是：仅靠「最高激活示例」和「logit lens」无法区分看起来相似的特征。两个特征都在「草是什么颜色」的 prompt 上激活，都指向 green，但只有其中一个真正导致模型输出 Green。 区分的关键在于下游连接。团队用 TWERA 方法测量特征之间的虚拟权重，发现一个特征的下游目标能揭示它实际参与的是哪条电路。这帮助区分了外观相似但因果角色不同的特征，也略微提升了 LLM 预测哪个特征会改变模型输出的能力。 另外还报告了多项进展：跨层编码器（CLT）在浅层也能学到高质量特征；用稀疏自编码器（SAE）做特征消融时，消融顺序会影响结果；以及一种新的可视化方法，把特征激活模式映射到 2D 散点图上。 本文是研究笔记而非正式论文，适合关注机械可解释性的读者。