超越因果掩码：自适应序列模型中的隐藏未来 token 泄
来自 arXiv · 期号 2026-10-23
摘要
自回归模型在 teacher-forced 评估下表现优异，但自由生成时质量骤降，原因可能是隐藏的未来 token 泄漏。 本文在一类自适应残差路由解码器中定位了该问题：其序列级路由摘要将前缀位置暴露给了未来 token，尽管因果注意力掩码本身正确。一个异常的 24 层检查点将验证损失从基线 3.5958 降至 1.4259，但未能通过前缀不变性审计，且生成时的参考模型困惑度显著更高。 作者通过逐层诊断和实现检查，将违规追踪到通过动态路由查询路径广播的全序列摘要。两个独立训练的 12 层因果修复消除了可检测的泄漏，将验证损失和困惑度恢复至对照水平。 作为诊断工具，论文使用了前缀不变性契约、最大前缀输出差异（LeakScore）、行为指标和逐层分析。辅助实验覆盖六个合成实现对、五个模块族、干净的预训练对照、受控故障注入以及跨数值精度的缓存一致性。 这些结果说明，隐藏的未来 token 访问可能产生误导性的架构进步声明，较低的 teacher-forced 损失应与全模型因果检查和自由运行评估一同解读。