Circuits 更新：2024 年 1 月
来自 Transformer Circuits Thread · 期号 2024-01-23
摘要
Anthropic 可解释性团队发布了一组研究笔记，内容多为初步实验和未成熟的想法，而非正式论文。 团队未来几个月将聚焦三个方向：字典学习的规模化与科学化、用字典学习攻击真实模型中的注意力叠加、以及基于前两者的电路理解。 在注意力叠加的玩具模型中，团队发现当 OV 电路稀疏时，模型会表现出类似特征叠加的几何结构；而 OV 电路密集时则不会。 另一项实验尝试用字典学习分析 MNIST 分类器，但未给出明确结论。 本文是研究方向的预告，而非成果发布。