为连续扩散语言模型设计Transformer
来自 arXiv · 期号 2026-10-16
摘要
连续扩散语言模型（CDLM）能并行生成文本，但现有工作大多直接套用为因果LLM或图像DiT设计的Transformer，没有针对CDLM优化。 本文系统研究了CDLM的Transformer架构，提出LangDiT：加入特征与查询-键归一化、更宽的噪声条件化、似然短路梯度路由与校准、以及置信门控训练自条件化。在OpenWebText数据集上生成1024 token序列时，LangDiT将生成困惑度（GenPPL）降至21.72（1024 NFE）和44.72（128 NFE），在匹配的LangFlow对比中显著优于此前最优。适配Plaid风格CDLM后，GenPPL进一步降至11.33（1024 NFE）和27.51（128 NFE）。 所有改进均在不改变模型底层表示、训练目标和推理采样器的前提下实现，证明Transformer架构本身是CDLM性能提升的关键来源。
深读
导读 连续扩散语言模型（CDLM）能以并行方式生成文本，但此前研究大多直接套用为因果LLM或图像DiT设计的Transformer架构，并未针对CDLM优化。这篇论文系统研究了CDLM的Transformer架构设计，提出了LangDiT，在OpenWebText数据集上以1024 token序列的无条件生成任务中，将生成困惑度（GenPPL）降至21.72（1024 NFE），显著优于此前最优结果。读完本文可以了解：哪些架构改动对CDLM真正有效，以及Transformer设计本身是CDLM性能提升的关键来源。 关键信息 - 论文提出LangDiT架构，包含四项核心改进：特征与查询-键归一化、更宽的噪声条件化、似然短路梯度路由与校准、置信门控训练自条件化。 - 在OpenWebText数据集上生成1024 token序列时，LangDiT将GenPPL降至21.72（1024 NFE）和44.72（128 NFE），在匹配的LangFlow对比中显著优于此前最优。 - 适配Plaid风格CDLM后，GenPPL进一步降至11.33（1024 NFE）和27.51（128 NFE）。 - 所有改进均在不改变模型底层表示、训练目标和推理采样器的前提下实现，证明Transformer架构本身是CDLM性能提升的关键来源。 逐节讲解 背景与问题 连续扩散语言模型（CDLM）提供了一种并行生成文本的替代方案。然而，现有工作大多直接采用为因果大语言模型（LLM）或图像生成扩散Transformer（DiT）设计的架构，这些架构并未针对CDLM的任务特性进行优化。论文指出，这一现状导致CDLM的性能潜力未能充分发挥。 LangDiT架构设计 论文对CDLM的Transformer架构进行了系统研究，并提出了Language Diffusion Transformer（LangDiT）。其核心改进包括四项： - 特征与查询-键归一化：对特征向量以及注意力机制中的查询和键进行归一化处理，以稳定训练过程。 - 更宽的噪声条件化：在模型中引入更丰富的噪声条件信息，帮助模型更好地理解扩散过程中的时间步。 - 似然短路梯度路由与校准：通过一种梯度路由机制，让似然相关的梯度更直接地传递到关键参数，并进行校准，以提升生成质量。 - 置信门控训练自条件化：在训练过程中，根据模型自身的置信度动态决定是否使用自条件化，从而更有效地利用自条件化带来的收益。 实验结果与结论 论文以LangFlow作为代表性CDLM，将LangDiT作为即插即用的骨干网络进行实验。在OpenWebText数据集上，针对1024 token序列的无条件生成任务，LangDiT在1024次函数评估（NFE）下达到21.72的GenPPL，在128 NFE下达到44.72的GenPPL，均显著优于此前最优模型。当Lan…