智谱联合华为开源图像生成模型 GLM-Image
来自 Z.ai Research · 期号 2026-01-14
摘要
智谱与华为联合开源了图像生成模型 GLM-Image。该模型采用「自回归+扩散解码器」混合架构，将 9B 的自回归模型与 7B 的 DiT 扩散解码器结合，前者负责理解指令和全局构图，后者负责还原文字笔画等高频细节。 GLM-Image 的文字渲染能力突出，在 CVTG-2K 榜单上文字准确率达 0.9116，在 LongText-Bench 上中文成绩为 0.979，均为开源模型第一。其自回归结构基座从数据预处理到大规模训练，全流程在昇腾 Atlas 800T A2 设备和昇思 MindSpore 框架上完成，验证了国产芯片训练前沿模型的可行性。API 调用生成一张图片仅需 0.1 元。
深读
导读 智谱与华为联合开源了图像生成模型 GLM-Image，这是首个在国产昇腾芯片上完成全流程训练的 SOTA 多模态模型。其核心创新在于「自回归+扩散解码器」混合架构，在文字渲染任务上达到开源模型第一。对于关注国产算力生态、开源多模态模型或图像生成技术前沿的从业者，这是一份值得细读的技术实践报告。 关键信息 - GLM-Image 采用 9B 自回归模型 + 7B DiT 扩散解码器的混合架构，前者负责指令理解与全局构图，后者负责文字笔画等高频细节。 - 在 CVTG-2K 榜单上，GLM-Image 的文字准确率（Word Accuracy）达 0.9116，归一化编辑距离（NED）为 0.9557，均为开源模型第一。 - 在 LongText-Bench 上，GLM-Image 英文成绩 0.952、中文成绩 0.979，位列开源模型第一。 - 模型全流程（数据预处理、预训练、SFT、RL）在昇腾 Atlas 800T A2 设备和昇思 MindSpore 框架上完成，使用了动态图多级流水、高性能融合算子、多流并行等优化。 - API 调用生成一张图片仅需 0.1 元，速度优化版本即将更新。 - 模型原生支持从 1024×1024 到 2048×2048 任意比例图像的生成，无需重新训练。 逐节讲解 架构创新：自回归 + 扩散解码器 文章指出，以 Nano Banana Pro 为代表的闭源模型正推动图像生成向「认知型生成」演进，模型不仅生成图像，还需理解复杂指令并具备世界知识与推理能力。GLM-Image 是智谱对这一方向的开源探索。 其核心架构是「自回归+扩散解码器」混合架构。9B 的自回归模型利用语言模型底座优势，负责语义理解和全局构图；7B 的 DiT 扩散解码器配合 Glyph Encoder 文本编码器，专门还原高频细节和文字笔画，解决传统模型「提笔忘字」的问题。此外，模型通过改进 Tokenizer 策略实现了多分辨率自适应，无需重新训练即可处理 1024×1024 到 2048×2048 任意比例的图像。 开源 SOTA：文字渲染成绩 GLM-Image 在两个文字渲染权威榜单上取得开源第一。CVTG-2K 考察多区域文字生成准确性，GLM-Image 的 Word Accuracy 为 0.9116，NED 为 0.9557，表明生成文字与目标高度一致、错漏字少。LongText-Bench 覆盖招牌、海报、PPT、对话框等 8 种文字密集场景，GLM-Image 英文 0.952、中文 0.979，同样位列开源第一。 国产芯片全流程训练 GLM-Image 的自回归基座从数据预处理到大规模预训练，全流程在昇腾 Atlas 800T A2 设备上完成。文章详细介绍了训练优化手段：动态图多级流水将 Host 侧算子下发流水化并高度重叠以…