EmbeddingGemma 2：开源轻量多模态嵌入模型
来自 Google DeepMind · 期号 2026-10-07
摘要
Google DeepMind 发布 EmbeddingGemma 2，一个 7.4 亿参数的多模态嵌入模型，能把文本、图片、音频、视频映射到同一个嵌入空间。 它基于 Gemma 4 架构，采用 Apache 2.0 协议开源。在 MTEB Code 上得分 78.68，比上一代提高 9.92 分，在 MAEB 音频基准上也领先同尺寸模型，甚至超过一些两倍大的专用模型。 支持 8K token 上下文窗口（是上一代的 4 倍），可以一次处理 5.5 分钟音频、29 张图片或 58 帧视频。通过 MRL 技术，嵌入向量可以从 768 维动态截断到 128 维，本地向量数据库存储最多省 6 倍。 在 Google Pixel 11 Pro 上，纯文本模式只需约 191MB 活跃内存，完整多模态模式约 567MB。模型权重已上架 Hugging Face 和 Kaggle。
深读
导读 Google DeepMind 发布 EmbeddingGemma 2，一个 7.4 亿参数的开源多模态嵌入模型，能将文本、图片、音频、视频映射到同一嵌入空间。它在代码、音频等基准上达到同尺寸最佳水平，甚至超越部分两倍大的专用模型。读完能了解其核心能力、性能指标、设备端部署优势及开源生态支持。 关键信息 - 基于 Gemma 4 架构，采用 Apache 2.0 协议开源，参数规模 7.4 亿。 - 在 MTEB Code 基准上得分 78.68，相比上一代提升 9.92 分；在 MAEB 音频基准上领先同尺寸模型。 - 支持 8K token 上下文窗口（上一代的 4 倍），可一次处理 5.5 分钟音频、29 张图片或 58 帧视频。 - 通过 MRL 技术，嵌入向量可从 768 维动态截断至 128 维，本地向量数据库存储最多节省 6 倍。 - 在 Google Pixel 11 Pro 上，纯文本模式活跃内存约 191MB，完整多模态模式约 567MB。 - 模型权重已上架 Hugging Face 和 Kaggle，支持 transformers、vLLM、llama.cpp 等主流工具链。 逐节讲解 从文本到多模态：EmbeddingGemma 2 的定位与架构 上一代 EmbeddingGemma 专注于文本嵌入，下载量超过 2000 万次，被用于设备端搜索和隐私优先的 RAG 流水线。EmbeddingGemma 2 将能力扩展到代码、图片、视频和音频，基于 Gemma 4 架构构建，参数 7.4 亿，专为设备端推理优化。它源自 Gemini Embedding 模型技术，能用一个原生多模态模型处理跨模态检索任务，例如通过语音备忘录查找视频片段。 核心能力：性能、模块化与设备端优化 模型在多个基准上表现突出：MTEB Code 得分 78.68（提升 9.92 分），在 MAEB 音频基准上超越同尺寸模型，甚至超过一些两倍大的专用模型。架构上采用模块化设计，纯文本工作负载仅需 2.7 亿参数，可选的视觉编码器（1.7 亿参数）和音频编码器（3 亿参数）用于完整多模态支持。通过 MRL 技术，输出向量可从 768 维动态截断至 128 维，本地向量数据库存储最多节省 6 倍。设备端优化方面，量化后在 Google Pixel 11 Pro 上，纯文本模式仅需约 191MB 活跃内存，完整多模态模式约 567MB。上下文窗口为 8K token（上一代的 4 倍），可处理 5.5 分钟音频、29 张图片或 58 帧视频。 应用场景与开发生态 EmbeddingGemma 2 支持完全离线的语义搜索、路由和检索，与 Gemma 4 共享文本分词器和音频编码器，可组成统一流水线，降低总内存占用。官方提供了多个示例应用：Google AI Edge…