智谱发布多模态Coding基座GLM-5V-Turbo
来自 Z.ai Research · 期号 2026-04-02
摘要
智谱AI发布GLM-5V-Turbo，一个从预训练阶段就融合视觉与文本能力的多模态Coding基座模型。 它的核心能力是“看得懂画面、写得出代码”：能理解设计稿、截图、网页界面，并据此生成可运行的代码。上下文窗口扩展至200k，支持画框、截图、读网页等多模态工具调用，将Agent的感知-行动链路从纯文本延伸到视觉交互。 在多项基准上，GLM-5V-Turbo以更小尺寸取得领先表现，包括设计稿还原、视觉代码生成、AndroidWorld和WebVoyager等GUI Agent任务。在纯文本Coding能力上，官方称视觉能力引入后未出现退化。 模型已接入AutoClaw等龙虾Agent，使其具备视觉能力，能看懂屏幕信息并执行复杂任务。内测中，字节跳动、美团、快手等合作伙伴给出了积极评价。
深读
导读 智谱 AI 发布 GLM-5V-Turbo，一个从预训练阶段就融合视觉与文本能力的多模态 Coding 基座模型。它的核心能力是“看得懂画面、写得出代码”：能理解设计稿、截图、网页界面，并据此生成可运行的代码，上下文窗口扩展至 200k。对于关注 Agent 开发、前端工程自动化和多模态模型落地的从业者，这篇发布文章提供了模型能力边界、基准成绩和典型应用场景的具体信息。 关键信息 - 模型定位：GLM-5V-Turbo 是一个从预训练阶段就深度融合视觉与文本能力的多模态 Coding 基座模型，上下文窗口扩展至 200k。 - 基准成绩：在 AndroidWorld、WebVoyager 等 GUI Agent 基准上表现突出；在纯文本 Coding 方面，CC-Bench-V2 的 Backend、Frontend 和 Repo Exploration 三项核心基准测试中均保持稳定表现，官方称视觉能力引入后未出现退化。 - Agent 协同：已接入 AutoClaw 等龙虾 Agent，在 PinchBench、ClawEval 和 ZClawBench 上取得优异成绩，支持“看懂环境→规划动作→执行任务”的完整闭环。 - 技术升级：模型在架构、训练、数据、工具链四个层面做了系统性升级，包括新一代 CogViT 视觉编码器、30+ 任务协同强化学习、基于合成环境的 Agentic 数据构造，以及新增多模态搜索、画框、截图、读网页等工具调用。 - 内测反馈：字节跳动 TRAE 团队评价其“实现了从设计稿到代码的完整还原”；美团团队称其“编程能力仍属于国内第一梯队”；快手万擎团队认为“它为 Agent 安上了‘眼睛’”。 逐节讲解 模型发布与核心定位 文章开篇提出 Agent 时代模型能力由“模型智能”和“context 容量”两个维度定义，GLM-5V-Turbo 正是针对这一需求打造的多模态 Coding 基座模型。它从预训练阶段就融合视觉与文本能力，让编程不再局限于纯文本输入，能看懂设计稿、截图、网页界面并生成可运行代码。核心要点包括：原生多模态输入（图片、视频、设计稿、文档版面等）与多模态工具调用（画框、截图、读网页），上下文窗口 200k；兼顾视觉与编程能力，通过多任务协同 RL 确保纯文本能力不退化；深度适配 Claude Code 与 OpenClaw/AutoClaw 等 Agent 框架。 基准评测与内测反馈 文章展示了 GLM-5V-Turbo 在多项基准上的表现。在多模态 Coding 和 Agentic 任务上，模型在设计稿还原、视觉代码生成、多模态检索与问答、视觉探查等基准上取得领先；在真实 GUI 环境操控的 AndroidWorld、WebVoyager 上同样表现突出。纯文本 Coding 方面，CC-Bench-V2 的…