Continuum Attention
来自 arXiv · 期号 2026-10-15
摘要
标准 Transformer 的注意力机制把 token 当作离散的点来查。 Continuum Attention 换了一种思路：把 key/value 存成一条连续的、分段线性的记忆曲线，每个 query 沿着曲线产生指数衰减的密度分布，积分后得到精确的归一化注意力值。梯度也能从闭式矩公式里直接算出来，所以可以用 GPU 并行跑。 在验证集上，CA 的负对数似然比 softmax 注意力低 0.0200 nats/byte，比 focal attention 低 0.0480 nats/byte，所有配对比较都赢了。额外留出的验证切片上，比最强的 softmax baseline 低 0.0457 nats/byte（95% 置信区间）。 论文只在小规模上验证了效果，更大规模的泛化留给了后续工作。