Circuits 更新：2023 年 5 月
来自 Transformer Circuits Thread · 期号 2023-05-24
摘要
Anthropic 可解释性团队发布 2023 年 5 月研究进展。 团队正系统性地用字典学习从密集模型的激活中提取叠加特征，但尚未找到令人信服的证据表明这些分解揭示了模型的“基本真相”。 一个核心概念问题浮现：我们其实不知道什么是“特征”。团队提出将特征定义为“激活的最简分解”，这或许能同时回答特征定义和字典学习特征数量选择两个问题。 另外报告了权重叠加、注意力头叠加、记忆化中的“双圆”现象等初步观察。 本文是研究笔记而非成熟论文，部分观点后续会有正式发表。