GLM-4.6V：原生工具调用的开源多模态模型
来自 Z.ai Research · 期号 2025-12-08
摘要
传统多模态工具调用需要把图像先转成文字再传给工具，过程有信息损失。 GLM-4.6V 让模型直接拿图像、截图、文档页面当工具参数，工具返回的图表也能再次被模型理解，形成“感知-理解-执行”闭环。 基于此，模型能完成富文本创作（输入论文自动生成图文科普）、视觉网页搜索（看图搜同款）、前端复刻（截图生成HTML代码）等任务。上下文窗口128K，可一次处理约150页文档或一小时视频。 模型权重与推理代码已开源，支持SGLang、vLLM等框架。
深读
导读 GLM-4.6V 是智谱 AI 开源的多模态模型，核心突破在于让模型能直接把图像、截图、文档页面当作工具调用的参数，而非先转成文字再传给工具。读完可以了解它在富文本创作、视觉搜索、前端复刻等场景下的具体能力，以及 128K 上下文窗口和开源部署方式。 关键信息 - 上下文窗口 128K tokens，单次推理可处理约 150 页复杂文档、200 页 PPT 或一小时视频。 - 支持原生多模态工具调用：图像、截图、文档可直接作为工具输入，工具返回的图表、截图也能被模型再次理解。 - 在前端复刻场景，模型能根据截图生成高保真 HTML/CSS/JS 代码，并支持圈选区域后通过自然语言指令修改代码。 - 在训练阶段引入十亿级规模的多模态感知和世界知识数据集，涵盖多层级概念体系。 - 模型权重与推理代码已开源，支持 SGLang、vLLM、transformers、xLLM Ascend NPU 等框架。 逐节讲解 原生多模态工具调用 传统 LLM 工具调用基于纯文本，处理图像、视频时需要多次中间转换，存在信息损失。GLM-4.6V 的改进在于：输入侧，图像、截图、文档页面可直接作为工具参数，无需先转为文字描述；输出侧，工具返回的统计图表、网页截图、商品图片等结果，模型能再次进行视觉理解并纳入后续推理。由此形成“感知-理解-执行”闭环。 核心能力与应用场景 富文本理解与创作：模型能接收论文、报告、幻灯片等多模态输入，端到端生成图文混排内容。生成过程中可自主调用工具裁剪关键视觉素材，并对候选图像进行“视觉审核”，评估相关性和质量后组合文本与视觉内容。案例包括仅输入主题生成图文资讯、输入论文生成科普文章。 视觉网页搜索：模型识别用户意图后自主触发 text-to-image 或 image-to-text 搜索工具，审查返回的视觉与文本混合信息，识别最相关部分并融合，最终输出结构化视觉报告。案例为看图调用电商工具买同款。 前端复刻与可视化交互：上传屏幕截图或设计文件，模型识别布局、组件和配色方案，生成高保真 HTML/CSS/JS 代码。用户可在生成页面的截图上圈选区域并给出自然语言指令（如“将此按钮向左移动并改为深蓝色”），模型自动定位并修改对应代码段。案例为精准复刻小红书前端。 长上下文性能：视觉编码器与 128K 上下文长度对齐。案例包括同时处理四家上市公司财务报告并合成对比分析表、对长视频进行全局概括并保留时序推理能力（如总结足球比赛的进球事件与比分时间轴）。 整体性能与技术细节 在 MMBench、MathVista、OCRBench 等 20 多个多模态基准测试上，同等参数规模下，GLM-4.6V 在多模态交互、逻辑推理、长上下文等能力上取得 SOTA。 技术细节包括：训练阶段将上下文窗口扩展至 128K tokens，在海量长上下文图文数据上持续预训…