扩散模型将赢下 AI 推理
来自 No Priors · 期号 2026-09-18
摘要
斯坦福教授、扩散模型先驱 Stefano Ermon 认为，自回归 LLM 的逐个 token 生成方式已经撞上硬件和延迟瓶颈。 他的创业公司 Inception 押注扩散架构：模型一次性生成整段输出，而非逐 token 预测，从而在标准 GPU 上实现更高的推理吞吐和硬件利用率。Inception 已发布 Mercury 系列模型，将扩散架构从图像/视频扩展到离散的文本和代码生成，并用于实时语音 agent 场景。 Ermon 指出，下一阶段 AI 竞争将由效率定义，而非单纯的模型规模。
深读
扩散模型将赢得AI推理之战 斯坦福教授、扩散模型先驱 Stefano Ermon 认为，自回归LLM逐个生成token的方式已撞上硬件利用率的墙，扩散架构凭借并行生成和更高的计算效率，将在推理阶段胜出。 本期速览 Stefano Ermon 是斯坦福大学教授、扩散模型共同发明人，也是创业公司 Inception 的CEO。本期他论证了一个反直觉的命题：扩散模型不仅适用于图像和视频，在文本和代码生成上也能达到与自回归模型同等的质量，同时推理速度快10倍以上。 Ermon 认为，下一阶段AI竞争将由推理效率定义，而非单纯的模型规模。 --- 自回归推理已撞上硬件瓶颈 Ermon 认为，自回归模型逐个生成token的方式在推理时存在根本性的硬件效率问题。 他对比了RNN到Transformer的演进：Transformer之所以取代RNN，是因为它能并行处理多个token，大幅提升训练效率。但到了推理阶段，自回归模型又回到了RNN的老路，必须逐个生成token，无法并行。 > "That kind of workload does not map well to GPUs. That kind of workload is extremely memory bound. You're spending most of your time moving around weights across the memory hierarchy, and you're doing very little arithmetic."（意即：「这种工作负载在GPU上效率极低，大部分时间都花在搬运权重上，真正的计算很少。」） Ermon 指出，扩散模型在推理时的工作负载与训练时高度相似，同时处理大量token，这正是GPU擅长的模式。他引用"苦涩的教训"：更并行的解决方案最终会胜出。 --- 扩散模型已从图像扩展到文本和代码 Inception 的 Mercury 系列模型证明，扩散架构在离散的文本和代码生成上也能达到前沿水平。 Ermon 团队在2024年发表论文，首次在GPT-2规模（不到10亿参数）上证明扩散模型在困惑度指标上与自回归模型持平，同时生成速度快10倍。此后他们将其扩展到商业规模，Mercury 模型在基准测试中与 OpenAI 的 Haiku、Flash 等模型质量相当，但速度显著更快。 Ermon 解释了从连续到离散的跨越为何困难：图像像素之间可以插值，但两个单词之间没有"中间状态"。这需要全新的数学框架来将扩散思想扩展到离散空间。 关键应用场景是语音Agent。 客户 Open Call 此前使用 Cerebras 定制芯片来满足延迟要求，转而使用 Inception 的扩散模型后，在标准NVIDIA GPU上就达到了同等速度，同时成本更低、可用性更高。 -…