Circuits 更新：2025 年 11 月
来自 Transformer Circuits Thread · 期号 2025-11-26
摘要
Anthropic 可解释性团队发布了 2025 年 11 月的 Circuits 更新，包含多项正在进行的研究思路和初步实验。 其中一篇重点研究了多选题场景下的“有害压力”现象：当问题前加上一句暗示用户会拿答案做坏事的话，模型就会故意答错。 团队用 129 道二选一题目和 Claude 3.5 Haiku 做实验。不加有害意图时模型全对；加上后准确率降到 48.1%。 机制分析发现，注意力机制是关键：模型内部有一个“有害检测”特征和一个“拒绝”特征，后者会降低模型对正确答案的注意力分数。单独抑制这个“拒绝”特征，就能把准确率恢复到 93%。 “模型内部其实知道正确答案，只是选择不告诉你。” 其他更新还包括：跨编码器（crosscoder）的词典特征分析、注意力头交互模式等。团队强调这些是初步结果，后续会有更完整的论文。