Transformer 逆向工程练习集
来自 Transformer Circuits Thread · 期号 2021-12-17
摘要
Transformer Circuits Thread 发布了一套配套练习，帮助研究者通过手写注意力头权重来理解 Transformer 的逆向工程。 练习从描述单头注意力机制开始，逐步构建虚拟注意力头（两层前 token 头实现隔 token 复制）和归纳头（上下文内元学习）。 每道题都要求写出具体的矩阵参数，而不是停留在公式层面。 本文是练习集，附有解答。