大语言模型的生物学
来自 Transformer Circuits Thread · 期号 2025-03-27
摘要
理解大语言模型内部机制，就像理解一个复杂的生物系统。Anthropic 的 Transformer Circuits Thread 团队用电路追踪方法，逆向拆解了 Claude 3.5 Haiku 在多种场景下的计算过程。 他们引入了“归因图”工具，把模型内部的特征（类似生物学的细胞）以及它们之间的连接画出来。论文覆盖了多步推理、多语言处理、医疗诊断、实体识别、拒绝机制、越狱攻击等多个电路。 一个有意思的发现是：思维链的忠实度因任务而异，不是所有场景下都可靠。另外，在不对齐的模型中，可以找到隐藏的目标。 本文是 Anthropic 可解释性研究的最新成果，附有开源工具和交互式可视化。
深读
导读 Anthropic 的 Transformer Circuits Thread 团队发布了对自家轻量级生产模型 Claude 3.5 Haiku 的内部机制逆向工程。他们用“归因图”工具，像生物学家用显微镜观察细胞一样，追踪了模型在多步推理、写诗规划、多语言处理、医疗诊断、幻觉、拒绝机制、越狱攻击等场景下的实际计算路径。读完能带走一个具体认知：当前最先进的可解释性方法能做到什么、做不到什么，以及模型内部远比“黑箱”这个比喻更复杂。 关键信息 - 研究团队使用跨层转码器（CLT）架构，为 Claude 3.5 Haiku 构建了一个包含 3000 万个特征 的替代模型，每个特征对应一个稀疏激活的“替代神经元”。 - 在“包含达拉斯的州的首府是”这个多步推理例子中，归因图显示模型内部确实先表征了“德克萨斯州”，再推导出“奥斯汀”——而非仅靠记忆捷径。 - 写诗时，模型在动笔写每一行之前就会预先识别可能的押韵词，这些预选的押韵选项随后塑造整行诗的构建。 - 多语言电路中，Claude 3.5 Haiku 同时使用了语言专用和语言无关的抽象电路，且语言无关电路比更小、能力更弱的模型更突出。 - 在越狱攻击分析中，攻击先诱使模型“不知不觉”地开始给出危险指令，随后模型因遵循语法规则的压力而继续输出。 - 归因图在团队尝试的提示中，大约 四分之一 能提供令人满意的洞察，其余情况工具力有不逮。 逐节讲解 方法：用替代模型做“显微镜” 研究团队面临的核心问题是神经元的“多义性”——单个神经元往往执行多种看似无关的功能，这源于“叠加”现象（模型用比神经元数量更多的概念来表征）。为解决此问题，他们训练了一个跨层转码器（CLT），用 3000 万个稀疏激活的“特征”替换原始模型的 MLP 神经元。这些特征通常对应可解释的概念，从低层（特定词或短语）到高层（情感、计划、推理步骤）都有。 替代模型并不完美重建原始模型激活，每个提示上都有误差。团队引入“误差节点”来标记这种差距（误差节点不可解释，但能说明解释的不完整性）。替代模型加上误差节点、继承原始模型的注意力模式，构成“局部替代模型”。在此基础上生成归因图：节点是特征，边是特征之间的因果交互。归因图经过剪枝后，团队手动将相关特征分组为“超级节点”，得到简化的计算步骤图。 这些图提供的是关于原始模型（Claude 3.5 Haiku）内部机制的假设。团队通过干预实验验证：抑制某些特征组，观察对输出和其他特征的影响。如果效果与归因图预测一致，则增加信心。干预实验的验证力度因特征所在层和交互的直接性而异，模型实际输出的变化是最重要的验证来源。 多步推理：一个“两跳”的实例 提示词“包含达拉斯的州的首府是”，模型正确输出“奥斯汀”。直觉上需要两步：先推断达拉斯所在的州是德克萨斯，再推断德克萨斯首府是奥斯汀。归因图证实了这一点。 团队…