Stage-Wise 模型差异分析
来自 Transformer Circuits Thread · 期号 2024-12-11
摘要
Anthropic 可解释性团队提出了一种新的模型差异分析方法。 微调一个模型后，很难说清哪些变化来自新数据、哪些来自模型本身的调整。传统做法是用 crosscoder 对比两个模型的激活值，但这种方法会把相关和不相关的差异混在一起。 新方法换了一个思路：先在一个初始模型上训练好稀疏自编码器（SAE）字典，然后把这个字典本身拿去微调——分别用新数据、新模型、以及两者都换的情况。因为字典的特征索引始终保持不变，可以追踪同一个特征在不同阶段如何演变。 在休眠 agent 实验中，该方法成功定位了与恶意行为相关的特征，而 crosscoder 虽然也能找到，但无法把它们从大量无关差异中分离出来。不过，stage-wise 方法只适用于同一模型的不同 checkpoint 及其对应的训练数据，crosscoder 则能处理不同架构的模型。 论文附了开源代码。