Circuits 更新：2024 年 2 月
来自 Transformer Circuits Thread · 期号 2024-02-23
摘要
Anthropic 可解释性团队发布月度更新，分享了几个尚在探索中的研究方向。 团队确认了字典学习中“超低密度特征”的成因：这些特征从未找到有用的解码方向，激活时收到负梯度，导致对其他神经元的权重被推向零。它们并非真正的特征，而是 L1 正则化惩罚在特征找到有用方向前将其“杀死”的结果。 此外，团队还列出了一些改进稀疏自编码器训练的经验性调整，包括对 Beta1 参数的设置。 本文是研究笔记而非正式论文，适合关注可解释性前沿的读者。