Transformer 电路的数学框架
来自 Transformer Circuits Thread · 期号 2021-12-22
摘要
Transformer 语言模型规模越来越大，但内部机制像黑箱。 Anthropic 提出一套数学框架，把 transformer 重新解释为残差流上的独立注意力头组合，让研究者能反向工程模型的计算过程。 核心发现是“归纳头”（induction heads）——一种只在两层及以上模型中出现的注意力头，可以解释小模型中的上下文学习能力。 本文是机械可解释性领域的奠基性工作，后续大量研究都建立在这个框架之上。
深读
导读 Transformer 语言模型规模越来越大，但内部机制像黑箱。Anthropic 提出一套数学框架，把 transformer 重新解释为残差流上的独立注意力头组合，让研究者能反向工程模型的计算过程。核心发现是“归纳头”（induction heads）——一种只在两层及以上模型中出现的注意力头，可以解释小模型中的上下文学习能力。本文是机械可解释性领域的奠基性工作，后续大量研究都建立在这个框架之上。 关键信息 - 研究聚焦于两层及以下、仅含注意力模块的 toy transformer，与 GPT-3（96 层、交替注意力与 MLP 层）形成对比。 - 零层 transformer 直接建模二元组统计（bigram statistics），二元组表可从权重中直接读取。 - 一层注意力-only transformer 是二元组与“跳跃三元组”（skip-trigram，形式为 "A… B C"）的集成模型，跳跃三元组表同样可直接从权重中获取。 - 两层注意力-only transformer 通过注意力头组合实现归纳头（induction heads），这是一种通用的上下文学习算法，且只在两层及以上模型中才出现。 - 一层与两层模型使用本质不同的算法执行上下文学习：两层模型依赖归纳头，这是一个重要的能力跃迁点。 - 注意力头可理解为独立且可加的操作：每个头的结果独立计算后加回残差流，与常见的“拼接后乘输出矩阵”的表述数学等价。 - 残差流是线性通信通道，不同层通过虚拟权重（virtual weights）直接连接，虚拟权重是前一层输出权重与后一层输入权重的乘积。 逐节讲解 研究动机与核心思路 Transformer 语言模型（如 GPT-3、LaMDA、Codex）规模越来越大，但模型内部的计算过程如同黑箱。即使模型训练完成多年，开发者和用户仍会不断发现之前未知的能力，包括有害行为。本文尝试用机械可解释性（mechanistic interpretability）的方法反向工程 transformer，类似于程序员把复杂二进制文件反编译为可读的源代码。研究策略是从最简单的模型入手，先发现可复用的算法模式，再逐步推广到更大模型。 残差流与虚拟权重 Transformer 的高层架构是：token 嵌入 → 一系列残差块 → token 解嵌。每个残差块包含注意力层和 MLP 层，两者都从残差流“读取”输入（线性投影），再将结果“写回”残差流（加回线性投影）。残差流本质上是线性通信通道——它本身不做任何处理，所有层通过它通信。 残差流的线性结构带来一个关键推论：虚拟权重。任意两层之间（即使相隔多层）可以通过乘积输出权重与输入权重形成隐式的直接连接。例如，第 1 层的输出权重与第 2 层的输入权重相乘，就得到描述第 2 层读取第 1 层信息的程度的虚拟权重。…