Transformer Circuits Thread
Transformer Circuits Thread 的条目时间线。
时间线
- 表征小型语言模型中的干扰权重 (2026-08-21 · Transformer Circuits Thread)
Anthropic 在一层 transformer 中识别出干扰权重，发现多数权重在数据分布上从未被使用，且权重对损失的影响可预测其是否属于模型实际学习的电路。 - 语言模型中的可言语化表征构成全局工作空间 (2026-07-06 · Transformer Circuits Thread)
Anthropic 发现 LLM 内部存在一个可报告、可调控的“全局工作空间”，用于灵活推理，区别于大量自动处理。 - Circuits 更新：2026 年 6 月 (2026-06-30 · Transformer Circuits Thread)
Anthropic 提出 Turn-Averaged SAE，将一轮对话的残差流取平均后训练 SAE，大幅减少特征数量并提升语义相关性。 - Circuits 更新：2026 年 5 月 (2026-06-01 · Transformer Circuits Thread)
Anthropic 可解释性团队分享多项进展，发现下游连接能预测哪些特征会实际影响模型行为。 - 自然语言自编码器无监督解释 LLM 激活 (2026-05-07 · Transformer Circuits Thread)
Anthropic 提出 NLA，用两个 LLM 模块将激活向量翻译成文字，在 Opus 4.6 审计中发现了模型未说出口的评估意识。 - HeadVis：注意力头交互式研究工具 (2026-05-04 · Transformer Circuits Thread)
Anthropic 发布，用于可视化大模型注意力头的行为，已开源并提供在线演示。 - 情绪概念在大语言模型中的功能 (2026-04-02 · Transformer Circuits Thread)
Anthropic 发现 LLM 的情绪表征会因果影响模型输出，包括偏好和失调行为频率。 - Activation Oracles (2025-12-19 · Transformer Circuits Thread)
在四项审计任务中三项达到当前最佳，性能随数据量提升而提升。 - Circuits 更新：2025 年 11 月 (2025-11-26 · Transformer Circuits Thread)
Anthropic 可解释性团队发布多项进展，包括 MCQ 场景下模型因有害意图而答错题目的机制分析。 - 大语言模型的内省意识涌现 (2025-10-29 · Transformer Circuits Thread)
Anthropic 通过向模型激活注入已知概念，测试模型能否察觉并准确识别这些内部状态。 - Circuits 更新：2025 年 10 月 (2025-10-24 · Transformer Circuits Thread)
Anthropic 可解释性团队分享了多项初步研究成果，包括跨模态视觉特征和字典模型数据初始化。 - 模型操作流形：计数任务的几何 (2025-10-21 · Transformer Circuits Thread)
Anthropic 发现 Claude 3.5 Haiku 发展出类似生物位置细胞的机制来感知文本中的字符位置，位置编码同时存在离散特征和特征流形两种解释。 - Circuits 更新：2025 年 9 月 (2025-09-29 · Transformer Circuits Thread)
Anthropic 发现模型对跨语言的理解随上下文变长而加深，末句的 IoU 显著高于首句。 - Circuits 更新：2025 年 8 月 (2025-08-28 · Transformer Circuits Thread)
Anthropic 发布月度电路更新，通过归因图研究系统提示如何覆盖助手的默认人格。 - 机制（不）忠实性的一个玩具模型 (2025-08-07 · Transformer Circuits Thread)
Chris Olah 用玩具模型展示：transcoder 可能用不同机制实现相同输出，Jacobian 匹配或可缓解 - 通过特征交互追踪注意力计算 (2025-07-31 · Transformer Circuits Thread)
Anthropic 提出 QK 归因方法，把注意力分数拆成 query 与 key 侧特征的交互，补上归因图缺失的注意力解释能力。 - 干扰权重的玩具模型 (2025-07-29 · Transformer Circuits Thread)
Anthropic 用玩具模型展示了特征叠加导致的干扰权重现象，认为这是从单样本归因图走向全局电路分析的核心障碍。 - 稀疏线性变换混合 (2025-07-25 · Transformer Circuits Thread)
Anthropic 提出 MOLT 替代 transcoder，用稀疏激活的线性变换而非特征向量来理解模型计算，初步实验显示更高效且更忠实于机制。 - Circuits 更新：2025 年 7 月 (2025-07-25 · Transformer Circuits Thread)
Anthropic 可解释性团队发布两篇新文章，用特征语言重述 Transformer 电路框架，并将方法应用于生物学。 - 自动化对齐审计 (2025-07-24 · Transformer Circuits Thread)
Anthropic 开发三款自主审计 agent，在植入问题的模型上测试，已用于 Claude 4 审计。 - Circuits 更新：2025 年 4 月 (2025-04-29 · Transformer Circuits Thread)
Anthropic 可解释性团队分享了一个未成功的越狱案例，发现模型拒绝它的机制与拒绝直接请求不同。 - 注意力机制研究进展 (2025-04-28 · Transformer Circuits Thread)
Anthropic 可解释性团队发现注意力叠加与跨层注意力表征的显著证据，并提出了 QK 对角化作为理解注意力模式形成的前进方向。 - 大语言模型的生物学 (2025-03-27 · Transformer Circuits Thread)
Anthropic 用电路追踪方法拆解 Claude 3.5 Haiku 的内部机制，覆盖多步推理、多语言、医疗诊断等场景。 - Circuit Tracing：揭示语言模型的计算图 (2025-03-27 · Transformer Circuits Thread)
Anthropic 提出通过构建可解释的替换模型来追踪语言模型的计算步骤，生成归因图。 - 交叉编码器模型差异分析的新发现 (2025-02-19 · Transformer Circuits Thread)
独占特征更易多义难解读，引入预设共享特征可改善 - Circuits 更新：2025 年 1 月 (2025-01-27 · Transformer Circuits Thread)
Anthropic 可解释性团队分享稀疏自编码器训练的最新实践，包括 JumpReLU、tanh 稀疏惩罚与预激活损失。 - Stage-Wise 模型差异分析 (2024-12-11 · Transformer Circuits Thread)
Anthropic 提出通过微调 SAE 字典来分离模型微调中数据与模型各自的影响，在休眠 agent 实验中比 crosscoder 更灵敏。 - 稀疏交叉编码器：跨层特征与模型对比 (2024-10-25 · Transformer Circuits Thread)
Anthropic 提出稀疏交叉编码器，同时读写多层激活值，产出跨层甚至跨模型的共享特征，用于追踪持续特征、简化电路、对比模型差异。 - 用字典学习特征做分类器 (2024-10-16 · Transformer Circuits Thread)
Anthropic 发现基于特征的线性分类器有时优于原始激活值基线，且决策树版本更可解释 - Circuits 更新：2024 年 9 月 (2024-10-01 · Transformer Circuits Thread)
Anthropic 可解释性团队分享了多项进展，包括对后继注意力头（successor heads）的复现与分析，以及通过过采样 SAE 训练数据来获取更精细特征的方法。 - Circuits 更新：2024 年 8 月 (2024-09-06 · Transformer Circuits Thread)
Anthropic 可解释性团队分享两项量化自动可解释性评估方法，用于衡量字典学习特征的质量。 - Circuits 更新：2024 年 7 月 (2024-07-31 · Transformer Circuits Thread)
Anthropic 可解释性团队分享了五项待解决难题，包括缺失特征、跨层叠加与注意力叠加。 - Circuits 更新：2024 年 6 月 (2024-06-28 · Transformer Circuits Thread)
Anthropic 复现了 TopK 与 Gated SAE 的 L0/MSE 优势，两者表现接近，TopK 产生更多高密度特征。 - 将稀疏自编码器扩展到 Claude 3 Sonnet (2024-05-21 · Transformer Circuits Thread)
Anthropic 从生产级模型中提取出多语言、多模态的可解释特征，并发现安全相关特征 - Circuits 更新：2024 年 4 月 (2024-04-26 · Transformer Circuits Thread)
Anthropic 可解释性团队发布多项新研究，同时正在招聘管理岗、研究科学家和工程师。 - Circuits 更新：2024 年 3 月 (2024-03-21 · Transformer Circuits Thread)
Anthropic 可解释性团队分享用 SAE 特征快速定位电路的方法，以及字典学习改进进展。 - 关于定性研究的思考 (2024-03-08 · Transformer Circuits Thread)
Anthropic 可解释性团队认为，在可解释性这样的早期领域，定性研究应该与定量研究同等重要，盲目追求统计指标的严谨性可能是一种“伪科学”。 - Circuits 更新：2024 年 2 月 (2024-02-23 · Transformer Circuits Thread)
Anthropic 可解释性团队分享了字典学习中“死亡特征”的成因与改进方向。 - Circuits 更新：2024 年 1 月 (2024-01-23 · Transformer Circuits Thread)
Anthropic 可解释性团队分享了多项未成文的初步研究，包括注意力叠加、字典学习在 MNIST 模型上的应用等。 - 迈向单义性：用字典学习分解语言模型 (2023-10-04 · Transformer Circuits Thread)
Anthropic 用稀疏自编码器从单层 transformer 中提取大量可解释特征，发现神经元存在多义性