Circuits 更新：2025 年 10 月
来自 Transformer Circuits Thread · 期号 2025-10-24
摘要
Anthropic 可解释性团队发布了 2025 年 10 月的 Circuits 更新，分享了多项尚在探索中的研究思路和初步实验。 其中一项发现是，模型中的同一个特征能同时识别 ASCII 艺术、SVG 代码和多种语言散文中描述的“眼睛”。这种跨模态特征不仅限于眼睛，还包括嘴巴、耳朵，乃至完整的狗和猫等视觉概念。 这些特征的激活依赖于上下文。一个单独的 @ 符号不会触发“眼睛”特征，除非它前面有 ASCII 艺术的上下文。在 SVG 中，“眼睛”特征只有在代表脸部的圆形之后才会激活。通过引导这些特征，可以改变模型生成的文本艺术，例如将 ASCII 表情从哭脸变成笑脸。 另一项工作是字典模型的数据初始化方法。 这些结果应被视为实验室会议上的初步分享，而非成熟的论文。