分层连续扩散语言模型
来自 arXiv · 期号 2026-10-07
摘要
扩散语言模型可以并行生成文本，不依赖自回归的顺序。 现有连续扩散模型的效果受限于 token 表示的设计。H-CDLM 的思路是同时扩散多个粒度的语义表示：token 本身，以及 token 嵌入聚类后得到的粗粒度簇。每个模态可以有自己的采样器和调度策略，让不同粒度互相补充。 应用到 CoBit 模型上（H-CoBit），在 LM1B 和 OWT 上的生成困惑度分别达到 49.4 和 50.4，比基线低了 24.2 和 20.7 个点，甚至超过了同等规模的离散扩散模型。GSM8K 上准确率 27.4%，优于之前的连续扩散和流匹配模型。 这套框架也适用于流匹配模型 FLM，说明思路不限于单一范式。代码已开源。
深读
导读 连续扩散语言模型在并行文本生成上潜力巨大，但效果受限于 token 表示的设计。这篇来自康奈尔大学的论文提出 H-CDLM 框架，通过同时扩散 token 及其聚类后的粗粒度语义表示，让不同粒度的信息互相补充，在多个基准上显著超越了现有连续扩散模型，甚至超过了同等规模的离散扩散模型。 关键信息 - H-CDLM 框架同时扩散两种模态：token 本身，以及 token 嵌入聚类后得到的粗粒度簇。 - 每种模态可以拥有独立的采样器和调度策略，以增强模态间的互动。 - 应用到 CoBit 模型上得到的 H-CoBit，在 LM1B 和 OWT 数据集上的生成困惑度（GenPPL）分别达到 49.4 和 50.4，比基线降低了 24.2 和 20.7 个点。 - H-CoBit 在 GSM8K 上达到 27.4% 准确率，优于之前的连续扩散和流匹配模型。 - 该框架同样适用于流匹配模型 FLM，得到 H-FLM，验证了思路不限于单一生成范式。 逐节讲解 动机与核心思路 扩散语言模型（DLM）能够以与顺序无关的方式并行生成文本，但连续扩散模型的效果受限于 token 表示的设计。作者借鉴离散 DLM 和连续图像扩散中联合扩散的思路，提出同时扩散多个粒度的语义表示。具体来说，除了 token 本身，还引入通过聚类预训练 token 嵌入得到的粗粒度簇，让不同粒度的信息在扩散过程中互相补充。 框架设计 H-CDLM 是一个通用框架，允许每种模态拥有自己的采样器和调度策略。这种设计使得模型可以灵活地控制不同粒度信息的扩散节奏，从而增强模态间的协同效果。作者强调该框架只需极少的计算和参数开销。 实验结果 将 H-CDLM 应用到 CoBit 模型上得到 H-CoBit。在 LM1B 和 OWT 数据集上，H-CoBit 的生成困惑度分别达到 49.4 和 50.4，比基线 CoBit 降低了 24.2 和 20.7 个点，甚至超过了同等规模的离散扩散模型。在 GSM8K 数学推理任务上，H-CoBit 达到 27.4% 准确率，优于之前的连续扩散和流匹配模型。作者还将框架应用到流匹配模型 FLM 上，得到 H-FLM，同样获得了一致的性能提升，证明该思路可以推广到不同的连续生成范式。 值得注意 本文仅基于论文摘要，具体的技术细节（如聚类方法、采样器设计、训练流程）在摘要中未展开。