模型操作流形：计数任务的几何
来自 Transformer Circuits Thread · 期号 2025-10-21
摘要
语言模型只能看到一串整数 token，却要学会预测固定宽度文本里的换行位置——这需要它感知当前行还剩多少字符。 Anthropic 研究了 Claude 3.5 Haiku 如何做到这一点，发现它发展出了类似小鼠脑中“位置细胞”和“边界细胞”的表示机制，但受限于残差流的几何约束。位置信息既可以理解为离散特征的激活模式，也可以理解为一维特征流形上的角度移动；对应的计算过程则同时存在离散电路和几何变换两种解释。 论文附了交互式可视化，可以直观看到模型内部的位置表示。