Softmax 线性单元
来自 Transformer Circuits Thread · 期号 2022-06-27
摘要
Transformer 的 MLP 层神经元往往具有多义性，一个神经元响应多个不相关的特征，这给机制可解释性研究带来了很大阻碍。 Anthropic 提出用 Softmax 线性单元（SoLU）替换标准激活函数，实验表明这能显著提高 MLP 层中可解释神经元的比例，且几乎不损失模型性能。 但研究也发现，SoLU 可能只是把一部分特征“藏”得更深，让它们变得更难解释。作者认为，这仍然是一个净收益，因为它大幅增加了我们能理解的神经元数量。 本文展示了为机制可解释性而设计架构的潜力。