2022-09-14 这一期

这一期没有导语。

本期收录

• 叠加的玩具模型 (2022-09-14 · Transformer Circuits Thread)
  Anthropic 用小型 ReLU 网络证明，当输入特征稀疏时，模型可以用少于特征维度的神经元来编码更多特征，代价是产生需要非线性过滤的干扰。