上下文学习与 Induction Head
来自 Transformer Circuits Thread · 期号 2022-03-08
摘要
Transformer 语言模型里有一种叫 induction head 的电路，它的功能是回看序列，找到当前 token 之前出现的位置，然后预测上一次跟在它后面的 token 会再次出现。 机械上，induction head 由两个注意力头组成：第一个头把前一个 token 的信息复制到当前 token，第二个头利用这个信息去查找序列中前面出现过的相同 token 之后跟的是什么。 在仅含两层注意力的小模型上，研究者精确展示了 induction head 实现了这种模式复制行为，并且它似乎是上下文学习的主要来源。论文通过六个论证（宏观共现、消融实验、机制合理性等）建立了 induction head 与上下文学习之间的因果联系。 本文是 Transformer 机制可解释性的早期里程碑，首次将一种具体的内部电路与模型的高层能力（上下文学习）直接对应起来。
深读
导读 这篇来自 Anthropic 可解释性团队 Transformer Circuits Thread 的论文，首次将 Transformer 内部一种具体的电路结构——induction head——与模型的高层能力“上下文学习”建立了因果联系。它通过六个维度的间接证据，论证了 induction head 可能是大模型中上下文学习的主要机制来源。读完能理解：上下文学习在模型内部可能对应着一种可定位、可解释的电路，而非不可知的涌现现象。 关键信息 - Induction head 由两个注意力头组成：第一个头将前一个 token 的信息复制到当前 token，第二个头利用该信息在序列中查找与当前 token 相同的先前 token，并关注其后的 token，从而预测该模式会重复。 - 在仅含两层的 attention-only 模型上，研究者精确展示了 induction head 实现了 [A][B] … [A] → [B] 的模式复制行为。 - 训练早期存在一个“相变”阶段，在此期间 induction head 形成，同时上下文学习能力（以序列中第 500 个 token 与第 50 个 token 的损失差衡量）显著提升。 - 研究者对超过 50,000 个注意力头进行了消融实验（ablation），直接“敲除”小模型中的 induction head 后，上下文学习能力大幅下降。 - 论文定义了 induction head 的两个行为特征：前缀匹配（attend 到被当前 token 或近期 token 跟随过的先前 token）和复制（输出增加被 attend 到的 token 的 logit）。 - 论文通过 PCA 分析不同模型在训练过程中的“per-token loss vector”，发现 induction head 的形成与上下文学习的提升在训练轨迹上高度同步。 逐节讲解 研究动机与核心假设 论文开篇指出，随着 Transformer 生成模型规模扩大和实际应用增多，理解其内部机制对安全至关重要。机械可解释性试图逆向工程模型执行的详细计算。此前研究已能在小型（1-2 层 attention-only）模型上给出近乎完整的计算解释，其中最有趣的发现是 induction head。本文的核心假设是：induction head 可能构成了大 Transformer 模型中大部分上下文学习的机制。具体来说，存在与两层 induction head 机制相同或相似的电路，执行一种“模糊”或“最近邻”版本的模式补全（[A*][B*] … [A] → [B]，其中 A* ≈ A, B* ≈ B），并且这些电路实现了大模型中的大部分上下文学习。 关键概念：上下文学习与 Induction Head 论文区分了两种上下文学习的定义：一种是 B…