通过变分解码实现并行语言模型
来自 arXiv · 期号 2026-10-20
摘要
自回归语言模型每步只生成一个 token，推理延迟随模型变大而升高。 这篇论文提出并行语言模型（PLM），通过潜在辅助变量路由 token 间的依赖关系，让模型一次前向传播就能生成多个相互一致的 token。训练使用变分下界，等价于自回归损失加一个并行解码损失。 在 80M 到 3B 参数规模上，PLM 的预训练损失接近自回归基线；推理加速随模型大小呈幂律增长，1.3B 模型在数学、编程和指令跟随 benchmark 上匹配或超过同等训练的自回归模型，推理快 2.3–5.7 倍。 论文附开源代码。