连续扩散语言模型的设计空间
来自 arXiv · 期号 2026-10-10
摘要
连续扩散语言模型（CDLM）想用连续流建模来加速采样和可控生成，但哪些设计杠杆真正管用，社区一直没摸清。 这篇论文盯住两个杠杆：自条件化和嵌入空间几何。自条件化解决的是训练/推理不匹配——推理时模型会遇到训练时很少见的中间状态，自条件化让模型提前适应这些状态。作者发现，不用额外前向传播，用一个叫 DoubleCat 的两级插值就能恢复自条件化的收益，在 TinyGSM 上准确率提升三倍以上。 自条件化还帮模型识别被大范数高斯噪声淹没的 token（token 可识别性问题）。作者进一步给 DoubleCat 加上离散揭示，得到 SemiCat，在 TinyGSM 上达到 49.94%，追平了离散扩散的水平。在 1.7B 参数规模上，SemiCat 在六项似然评测中有四项超过离散扩散，无条件生成也优于 one-hot 流。 嵌入空间方面，交叉熵损失会自然把嵌入推向一种几何结构，使得解码错误率接近 one-hot 嵌入。论文还顺带试了混合破坏过程和异步噪声调度等选项。 原文是 arXiv 论文，附了实验代码。
深读
导读 这篇论文系统性地研究了连续扩散语言模型（CDLM）的两个关键设计杠杆，自条件化和嵌入空间几何，揭示了它们背后的机制，并提出了更高效的设计方案。对于关注生成式模型前沿、特别是扩散模型在语言领域应用的从业者，本文提供了从理论到实验的清晰路线图，核心收获是：自条件化的收益可以不通过额外前向传播实现，且嵌入空间的几何结构对解码质量有决定性影响。 关键信息 - 自条件化（self-conditioning）通过让模型提前适应推理时才会遇到的中间状态，纠正了训练与推理之间的不匹配。 - 作者提出的两级插值方法 DoubleCat，无需额外前向传播即可恢复自条件化的收益，在 TinyGSM 上准确率提升超过三倍。 - 在 DoubleCat 基础上加入离散揭示（discrete reveals）得到 SemiCat，在 TinyGSM 上达到 49.94% 的准确率，追平离散扩散模型。 - 在 1.7B 参数规模下，SemiCat 在六项似然评测中有四项超过离散扩散，无条件生成也优于 one-hot 流。 - 交叉熵损失会自然将嵌入推向一种几何结构，使得解码错误率与 one-hot 嵌入非常接近。 逐节讲解 自条件化：纠正训练与推理的不匹配 论文首先聚焦自条件化。在扩散模型的推理过程中，模型会不断遇到部分加噪的中间状态，而这些状态在标准训练中很少出现，导致训练与推理之间存在不匹配。自条件化通过让模型在训练时也接触这些类似推理的状态来弥补这一差距。作者进一步发现，这种收益可以通过一个名为 DoubleCat 的两级插值方法实现，无需额外的前向传播。在 TinyGSM 数学推理任务上，DoubleCat 将准确率提升了三倍以上。 从 DoubleCat 到 SemiCat：解决 token 可识别性问题 自条件化还帮助模型识别那些被大范数高斯噪声淹没的 token，即 token 可识别性问题。作者针对这一问题，在 DoubleCat 中引入离散揭示机制，得到 SemiCat。SemiCat 在标准训练超参数和调优采样器下，在 TinyGSM 上达到 49.94% 的准确率，达到了离散扩散模型的水平。在 1.7B 参数规模上，SemiCat 在六项基于似然的评测中有四项优于离散扩散，在无条件生成任务上也超过了 one-hot 流。 嵌入空间的几何与解码 论文考察了嵌入空间的设计。研究发现，交叉熵损失函数会自然地将嵌入向量推向一种特定的几何结构，在这种结构下，解码错误率与使用 one-hot 嵌入时几乎一致。作者还简要探索了其他设计选项，如混合破坏过程（hybrid corruption processes）和噪声调度（noise schedules），包括异步噪声调度。 值得注意 本文基于论文摘要，所有结论均来自作者在摘要中声称的实验结果，缺乏方法细节和实验设置的具体描…