Circuits 更新：2026 年 6 月
来自 Transformer Circuits Thread · 期号 2026-06-30
摘要
Anthropic 可解释性团队在 2026 年 6 月更新中分享了多项进展。 核心是一篇关于 Turn-Averaged Sparse Autoencoders（SAE）的帖子。传统 SAE 对每个 token 位置提取特征，一段对话会产生成千上万个激活，其中大部分是语法等与安全无关的「无聊」特征。新方法把一次 Human 或 Assistant 轮次中所有 token 的残差流取平均，再训练 SAE 去重建这个平均表示。这样每轮只输出 L0 个特征（而非 n_tokens × L0），且捕捉到的特征更偏向高层语义——例如直接识别出「数字谜题答错了」，而非「这里在做算术」。该方法在训练时未见过的、长度 150 倍于平均的轮次上依然有效。 其余内容属于实验室会议式的初步想法分享，团队表示后续可能不会单独成文。