Transformer 层间持久循环记忆提升语言模型泛化
来自 arXiv · 期号 2026-09-15
摘要
标准 Transformer 的层与层之间没有记忆，信息在逐层传递中会衰减。 这篇论文在 6 层 decoder-only 模型的中间插入一个轻量循环记忆模块：它通过 cross-attention 观察各层的隐藏表示，用 GRU 更新自身状态，再通过门控加法回写到后续层的处理中。模块只增加 3.7% 的参数，但在留出语言建模数据上把评估损失从 2.438 降到 1.743（降幅 28.5%），过拟合差距从 0.26 缩到 0.12。 消融实验证明收益完全来自循环记忆的拓扑结构，与辅助损失无关。表征探测显示该模块编码了叙事位置信息（52% vs 33% 随机水平），而标准注意力对此保持得不够好。 论文在小规模模型上验证了思路，未讨论扩展到更大模型时的效果。