2022-06-27 这一期

这一期没有导语。

本期收录

• Softmax 线性单元 (2022-06-27 · Transformer Circuits Thread)
  Anthropic 提出用 SoLU 激活函数替代标准 MLP 中的激活函数，使更多神经元对应可解释的概念，同时几乎不损失模型性能。