学习长度可外推的循环模型
来自 arXiv · 期号 2026-09-09
摘要
循环模型是处理长上下文的自然选择，但用 BPTT 训练的模型在超出训练长度后往往失效。 经典分析归因于梯度消失或爆炸，但本文发现，即使梯度严重衰减，密集的逐 token 损失仍能训练出有效的循环规则——衰减本身不是学习失败的决定因素。 作者转而研究「状态信用」：未来损失通过它影响早期循环状态，进而参与参数更新。他们直接干预这一信号，提出 Credit Stabilization through Time (CST)。在反向传播中，CST 局部重缩放状态信用信号的范数，但不旋转被修正的分量，前向计算保持不变。 由于受控合成任务和真实数据表现出不同的信用动态，CST 针对两种场景分别做了适配。两种设置下，CST 都提升了超出训练长度的表现，在 128 倍训练长度上仍有增益。 论文附了开源代码。