Circuit Tracing：揭示语言模型的计算图
来自 Transformer Circuits Thread · 期号 2025-03-27
摘要
语言模型的行为背后有怎样的计算机制？Anthropic 提出了一种方法，通过追踪模型在特定 prompt 上的计算步骤，生成描述其计算过程的图。 核心思路是构建一个“替换模型”：用一个更可解释的组件（跨层转录器）替代原模型中的多层感知机部分。然后在这个替换模型上追踪每一步计算，得到“归因图”。 团队开发了一套可视化和验证工具，用来研究一个 18 层语言模型上的简单行为，并为后续将这套方法应用到 Claude 3.5 Haiku 上奠定了基础。 论文附有开源代码和交互式可视化工具。
深读
导读 Anthropic 提出了一种名为“电路追踪”(Circuit Tracing)的方法，旨在揭示语言模型内部的计算机制。该方法通过构建一个更可解释的“替换模型”来替代原始模型的多层感知机部分，并在此基础上追踪每一步计算，生成描述模型行为的“归因图”。对于关心 AI 可解释性、模型安全或希望理解 LLM 内部工作原理的从业者，这篇论文提供了一套系统化的方法论和开源工具，是机械可解释性领域的重要进展。 关键信息 - 核心方法是用跨层转录器(Cross-Layer Transcoder, CLT)替代原始模型的所有 MLP 层，构建一个可解释的“替换模型”。CLT 的特征从某一层的残差流读取输入，但可以向所有后续层的 MLP 输出提供贡献。 - 在 18 层语言模型上，最大的 CLT 在 50% 的测试 prompt 上匹配了原始模型的下一 token 预测结果。测试集来自一个开源数据集的预训练风格 prompt，并过滤掉了模型置信度低于 80% 的 token。 - CLT 的特征总数在 18 层模型上从 30 万到 1000 万不等，在 Claude 3.5 Haiku 上从 30 万到 3000 万不等。 - 论文附带开源代码和交互式可视化工具，用于探索归因图及其包含的特征。 - 该方法已应用于一篇配套论文，研究 Claude 3.5 Haiku 的多种行为，包括多跳推理、规划和幻觉。 逐节讲解 引言：从特征到电路 机械可解释性的目标是理解模型内部的计算过程。传统方法要么使用原始神经元，要么研究 MLP 块和注意力头等粗粒度组件。但神经元存在多义性(polysemanticity)——一个神经元可能混合了多个不相关的概念，这是“叠加”(superposition)现象的后果。近年来，稀疏编码模型（如稀疏自编码器 SAE、转录器 transcoder）成为识别可解释特征的有力工具。 本文的关键方法论决策包括： - 使用转录器而非 SAE：可以构建一个可解释的替换模型，直接分析特征之间的相互作用。 - 跨层设计：CLT 的每个特征从一层读取输入，但可以向所有后续层的 MLP 输出贡献，这大大简化了生成的电路图。在约 50% 的 case 中，CLT 替换模型能匹配原始模型的输出。 - 归因图：针对特定 prompt 上目标 token 的输出，描述模型使用的计算步骤。节点代表活跃特征、token 嵌入、重建误差和输出 logits；边代表节点之间的线性效应。 - 特征间线性归因：通过冻结注意力模式和归一化分母，并让 CLT 特征“跨越”MLP 的非线性，使得特征之间的直接相互作用是线性的。 - 剪枝：虽然特征已经是稀疏的，但一个 prompt 上仍有太多活跃特征。通过识别对特定 token 位置输出贡献最大的节点和边，生成稀疏可解释的图。 - 验证：通过扰…