Circuits 更新：2025 年 1 月
来自 Transformer Circuits Thread · 期号 2025-01-27
摘要
Anthropic 可解释性团队分享了稀疏自编码器训练的最新实践。 他们使用 JumpReLU 激活函数，并采用直通估计器让梯度流过不连续点。与 Rajamanoharan 等人不同，梯度会流向所有参数，而不仅是阈值。 稀疏惩罚用的是 tanh 而非 ReLU。新增的「预激活损失」会对不激活的特征施加小惩罚，大幅减少了死特征。 初始化方案：解码器权重从均匀分布采样；编码器权重在输入输出相同时取解码器权重的转置缩放，否则另采。偏置则通过数据子集调整，使每个特征在约万分之一的样本上激活。 这些是仍在发展中的思路，作者希望它们能成为外部团队训练稀疏自编码器的起点。