DiffusionGemma：文本生成快 4 倍
来自 Google DeepMind · 期号 2026-06-11
摘要
Google DeepMind 发布实验性开源模型 DiffusionGemma，采用文本扩散技术生成文字。 传统大模型像打字机，一个字一个字从左到右生成，本地运行时 GPU 大部分时间在等待。DiffusionGemma 反过来：每次前向传播同时生成 256 个 token，把瓶颈从内存带宽转移到计算上。 模型总参数量 26B，采用 MoE 架构，推理时只激活 3.8B 参数。量化后可在 18GB 显存的消费级 GPU 上运行，单张 H100 上每秒生成 1000+ token，RTX 5090 上 700+ token。双向注意力机制让模型能一次性审视整段文本并实时修正错误，在代码填充、氨基酸序列、数学图等非线性任务上有优势。 输出质量低于标准 Gemma 4，官方推荐追求质量的场景仍用 Gemma 4。DiffusionGemma 面向对速度敏感的本机交互工作流，如行内编辑、快速迭代。 本文是模型发布与技术说明，附有 Apache 2.0 许可的开源权重。
深读
导读 Google DeepMind 发布了一款实验性开源模型 DiffusionGemma，它放弃了传统大模型逐字生成的方式，改用文本扩散技术并行生成整段文字，在专用 GPU 上推理速度最高提升 4 倍。对于在本地做实时交互、行内编辑或代码补全的开发者，这篇文章解释了这种速度提升从何而来、代价是什么，以及它适合什么样的工作流。 关键信息 - 模型总参数量 26B，采用 MoE 架构，推理时只激活 3.8B 参数；量化后可在 18GB 显存的消费级 GPU 上运行。 - 单张 NVIDIA H100 上每秒生成 1000+ token，RTX 5090 上每秒 700+ token。 - 每次前向传播同时生成 256 个 token，瓶颈从内存带宽转移到计算。 - 输出质量低于标准 Gemma 4，官方推荐追求质量的场景仍用 Gemma 4。 - 在统一内存架构（如 Apple Silicon Mac）上，加速效果可能不如专用 GPU 明显。 - 模型权重以 Apache 2.0 许可证发布在 Hugging Face 上。 逐节讲解 为什么需要文本扩散 传统自回归 LLM 像打字机，一次生成一个 token。在云端，服务器可以批量处理成千上万的请求来填满 GPU；但在本地单用户场景下，GPU 大部分时间在等待下一个 token，利用率很低。DiffusionGemma 反过来：一次生成 256 个 token 的整段文本，让计算单元一次处理更大的工作负载，从而充分利用硬件。 文本扩散如何工作 与 AI 图像生成器从随机噪声逐步细化成清晰图片类似，DiffusionGemma 对文本做同样的事： - 画布：从随机占位 token 开始。 - 迭代细化：多次前向传播，逐步锁定正确的 token，并用已确定的 token 作为上下文线索来修正其余部分。 - 最终抛光：文本收敛为高质量输出。 由于模型在生成时能同时审视整个段落，它天然擅长处理需要全局上下文的任务，比如正确闭合复杂的 Markdown 格式，或近乎实时地生成并渲染代码。 关键特性与权衡 - 双向注意力：256 个 token 并行生成，每个 token 都能关注所有其他 token。这在代码填充、氨基酸序列、数学图等非线性任务上有优势。 - 智能自我修正：模型能一次性评估整个文本块，实时修正错误。 - 实验性状态：因为优先速度和并行布局生成，输出质量低于标准 Gemma 4。官方建议追求最高质量的场景仍使用 Gemma 4。 - 速度优势的适用范围：加速针对本地和低并发推理设计。在高 QPS 云服务中，自回归模型可以通过批量部署填满计算资源，DiffusionGemma 的并行解码收益递减，甚至可能带来更高的服务成本。吞吐量优势在单加速器、低到中等批量时最明显。 上手与生态 模型权重已发布在 Hug…