Circuits 更新：2025 年 9 月
来自 Transformer Circuits Thread · 期号 2025-09-29
摘要
Anthropic 的 Circuits 更新报告了一个有趣的现象：模型对跨语言文本的理解会随着上下文变长而加深。 研究人员此前发现，大模型对不同语言的表示相似度会随模型规模、层深度和语言亲缘关系而变化。这次他们注意到一个新模式：活跃特征的 IoU（交并比）随样本长度增加而上升。 为了排除这是由虚假激活（特征在小激活值下偶然触发）导致的，他们比较了英法对照段落中首句和末句的 IoU 分数。结果末句的 IoU 显著高于首句，说明模型在更长的上下文里建立了更丰富的跨语言理解。 一个额外的对照实验也支持这一结论：不相关的首句之间比不相关的末句之间有更多重叠，进一步排除了虚假激活的解释。