Google 发布无编码器多模态模型 Gemma 4
来自 Google DeepMind · 期号 2026-06-09
摘要
Google DeepMind 发布 Gemma 4 12B，一个统一的无编码器多模态模型。 传统多模态模型需要独立的图像编码器将图片转为 token，再送入语言模型。Gemma 4 12B 去掉了这个编码器，直接把原始像素输入语言模型，由模型自己学会理解图像。 官方称其在视觉问答（VQA）和文档理解任务上，以 12B 参数量达到了与更大模型相当的水平。模型采用 Apache 2.0 协议开源。
深读
导读 Google DeepMind 发布 Gemma 4 12B，一个参数量 12B 的统一无编码器多模态模型。它去掉了传统多模态模型必备的图像和音频编码器，将原始像素和音频信号直接送入语言模型主干，从而降低延迟和显存占用，使高级多模态推理能力可以在配备 16GB 内存的消费级笔记本上本地运行。读完本文可以了解该模型的核心架构创新、性能定位以及开源生态支持。 关键信息 - 模型采用无编码器（encoder-free）架构：视觉输入仅通过一个轻量嵌入模块（单次矩阵乘法 + 位置编码 + 归一化）进入 LLM 主干；音频输入则完全移除编码器，将原始音频信号直接投影到文本 token 的维度空间。 - 在标准 benchmark 上，12B 模型的性能接近自家更大的 26B MoE 模型，但总内存占用不到后者的一半。 - 这是 Gemma 系列首个支持原生音频输入的中间尺寸模型。 - 模型可在仅 16GB VRAM 或统一内存的设备上本地运行。 - 采用 Apache 2.0 协议开源，支持 Hugging Face、Kaggle、Ollama、LM Studio、llama.cpp、MLX、vLLM 等主流工具链。 - 配备 Multi-Token Prediction (MTP) drafters，用于降低推理延迟。 逐节讲解 模型定位与发布背景 Gemma 4 12B 定位在边缘友好的 E4B 与更先进的 26B MoE 之间，旨在将智能体多模态能力带到笔记本电脑上。官方提到，Gemma 4 系列模型在开发者社区中累计下载量已超过 1.5 亿次，应用场景涵盖可穿戴机械臂到企业级 AI 安全。 核心架构：无编码器统一架构 传统多模态模型依赖独立的图像编码器和音频编码器先将输入转为表征，再送入语言模型。这种分离式编码器会增加延迟和内存占用。Gemma 4 12B 的做法是： - 视觉：用轻量嵌入模块替换 Gemma 4 原有的视觉编码器，该模块仅包含一次矩阵乘法、位置编码和归一化，视觉处理完全交由 LLM 主干完成。 - 音频：直接移除音频编码器，将原始音频信号投影到与文本 token 相同的维度空间。 性能与本地运行能力 官方称该模型在标准 benchmark 上的表现接近 26B MoE 模型，但总内存占用不到一半。这使得它可以在配备 16GB RAM 的消费级笔记本上本地运行，支持多步推理和智能体工作流。模型还内置了 Multi-Token Prediction (MTP) drafters 以进一步降低延迟。 开源与生态支持 模型以 Apache 2.0 协议发布，提供预训练和指令微调两个版本的权重。开发者可通过 Hugging Face、Kaggle 下载，使用 Ollama、LM Studio、llama.cpp、MLX、SGLang、vLLM 等…