用字典学习特征做分类器
来自 Transformer Circuits Thread · 期号 2024-10-16
摘要
Anthropic 可解释性团队探索用字典学习提取的特征来训练分类器，替代直接使用模型原始激活值。 在生物武器相关提示的分类任务上，基于特征的线性分类器有时能超过基于原始激活值的基线，且决策树版本更可解释。但引入特征也增加了复杂度，原始激活值仍是强基线。 实验发现三个关键细节：训练时一致处理 Human/Assistant 标签、在 SAE 训练数据中混入领域相关数据、对特征激活做最大池化而非只取最后 token。