dQwen3.5：混合注意力扩散语言模型
来自 arXiv · 期号 2026-09-18
摘要
把预训练的自回归（AR）模型改造成扩散语言模型（DLM）是一条省钱的路线。但现在的 AR 模型大多已转向混合架构（交错使用注意力层和 RNN 层），而 RNN 是因果结构，很难双向化。 这篇论文尝试把 Qwen3.5（0.8B 到 9B 四个规模）改造成 DLM，得到 dQwen3.5 系列。结果发现，混合架构反而是更高效的起点：达到同样的训练损失，混合模型只需要全注意力模型大约一半的 token。 dQwen3.5 在任意顺序解码行为上与全注意力 DLM 相似，并行解码下表现也很强。