局部混合如何编码全局 NoPE 注意力中的相对位置
来自 arXiv · 期号 2026-09-30
摘要
纯全局注意力（NoPE）本身不感知位置，但混合模型在全局层之前插入局部混合层（滑动窗口注意力或门控线性注意力）后，就能隐式编码相对位置。 论文的核心论证是：局部混合层在残差流中引入了一种「近因偏差」——越近的 token 信号越强——这个偏差会传播到全局注意力的 logits 上，被注意力机制选中。 与纯 NoPE 模型（位置信息只来自因果掩码）不同，混合模型中的近因偏差可以在长序列中持续存在。这解释了为什么这类架构能扩展到很长的上下文，也为设计可无限外推的位置编码提供了思路。