2022-03-08 这一期

这一期没有导语。

本期收录

• 上下文学习与 Induction Head (2022-03-08 · Transformer Circuits Thread)
  Anthropic 发现 induction head 是 Transformer 上下文学习的主要来源，由两个注意力头组成，在小模型上精确实现了模式复制。