HeadVis：注意力头交互式研究工具
来自 Transformer Circuits Thread · 期号 2026-05-04
摘要
Anthropic 发布 HeadVis，一款用于研究大语言模型注意力头的交互式可视化工具。 注意力头比神经元更难可视化：它们秩高、组合两个不同的电路、且在整个上下文窗口上激活。HeadVis 通过注意力模式可视化、低秩分量投影、以及 QK/OV 电路的 SAE 特征归因来帮助生成和验证假设。 论文用 Claude Haiku 3.5 做了几个案例研究，发现一个共同主题：注意力头在全数据分布上的行为很少与窄任务暗示的一致，且差异并不总是容易描述。 HeadVis 代码已开源，并提供了 Gemma 3 和 Haiku 3.5 部分注意力头的在线演示。
深读
导读 注意力头是理解大语言模型内部机制的关键，但比神经元更难可视化。Anthropic 推出的 HeadVis 是一款交互式工具，通过注意力模式可视化、低秩分量投影和 SAE 特征归因，帮助研究者生成和验证关于注意力头行为的假设。读完本文，你将看到几个案例研究如何揭示一个共同主题：注意力头在全数据分布上的行为很少与窄任务暗示的一致。 关键信息 - HeadVis 基于 Claude Haiku 3.5 进行案例研究，代码已开源，并提供 Gemma 3 和 Haiku 3.5 部分注意力头的在线演示。 - 一个早期层“行宽”注意力头被发现具有三种不同行为：处理年份（如 1776 拆分为 1 和 776）、多 token 单词（如 interpretability 拆分为 interpret 和 ability）、以及新行计数（之前研究过的行为）。 - 一个“答案选择”注意力头在完整数据分布上并非只处理多项选择题，其 QK 电路在不同上下文中匹配“模型标记为相关的内容”特征，而 OV 电路始终执行复制操作。 - 一个“同集抑制”注意力头在 98% 的测试句子中，让国家 token 更关注不属于该国的外国城市，而非其本国城市。 - 模糊归纳头在 QK 电路中进行特征层面的匹配（如“ee”音），而 OV 电路执行与字面归纳相同的复制操作。 逐节讲解 模糊归纳：从字面匹配到特征匹配 归纳头在模式 [A][B] ... [A] -> [B] 中工作：从第二个 A 关注回第一个 B，以预测 B 的重复。HeadVis 使用“归纳分数”（在标准数据集上衡量字面复制情况的代理指标）来定位归纳头。早期层的归纳头通常执行字面复制，而中层头执行更模糊的归纳形式，匹配跨语言、反义词、亲属关系等。 以诗歌中的模糊归纳头为例，从 gleam 的第二个 token 关注回 dream 后的换行符。QK 归因显示，查询侧的特征是“行末的 -ea 音”，键侧的特征是“'ee' 音后的换行符”——这类似于字面归纳，但匹配的是音素而非 token。OV 归因则与字面归纳完全相同：值侧是“当前 token 是换行符”，输出侧是“说换行符”。模糊性完全存在于 QK 电路中；一旦头决定了关注哪里，复制操作与字面归纳无异。 多语义注意力头：一个头，三种行为 一个早期层头之前被研究为“行宽”头（通过计算自上次换行以来的字符数）。在 HeadVis 中浏览其注意力模式后，发现了三种不同行为：年份（tokenizer 将 1000–1999 拆分为两个 token，头在它们之间关注）、多 token 单词（头在长单词的拆分 token 之间关注）、以及换行符（头从一个换行符关注到前一个换行符）。 HeadVis 为每个头预计算了 Q、K、O 激活的 PCA 视图。对于这个头，三个 PCA 都在前几个主成分中将行…