2021-12-22 这一期

这一期没有导语。

本期收录

• Transformer 电路的数学框架 (2021-12-22 · Transformer Circuits Thread)
  Anthropic 提出将 transformer 重新解释为残差流上的独立注意力头组合，发现“归纳头”可解释小模型的上下文学习能力。
• Garçon (2021-12-22 · Transformer Circuits Thread)
  Anthropic 为大型语言模型可解释性研究开发的工具，支持通过 hooks 接口访问和修改内部激活值。