Circuits 更新：2024 年 3 月
来自 Transformer Circuits Thread · 期号 2024-03-21
摘要
Anthropic 可解释性团队分享了多项在研思路。 主要工作是提出一种用稀疏自编码器（SAE）特征快速定位模型电路的方法：不再需要为每个行为单独构造数据集，而是利用 SAE 学到的字典，从单条文本就能生成假设，再通过归因分数找出关键特征。团队用运动员-运动属性提取任务演示了这一流程。 另外更新了字典学习的改进进展，并引用了其他团队的相关研究。 本文是实验室内部思路分享，而非成熟论文。