如何构建一个扩散语言模型

摘要

扩散语言模型（DLM）用连续噪声破坏文本再逐步去噪生成，与自回归模型逐 token 预测不同。这篇教程从零开始实现了一个小型 DLM，包含训练、采样和评估的完整代码。评论区指出，DLM 在长文本生成上比自回归模型更灵活，但推理速度慢、训练不稳定仍是主要瓶颈。