NeoMME：高效的多模态原生多语言编码器
来自 Hugging Face · 期号 2026-09-03
摘要
多模态编码器通常只处理文本和图像，而且对非英语语言支持有限。 Hugging Face 发布的 NeoMME 是一个多模态原生编码器，用一个统一的 Transformer 架构同时处理文本、图像和音频，不需要为每种模态单独设计编码器。 它在多语言检索任务上超过了 CLIP 和 SigLIP 等模型，尤其在低资源语言上提升明显。模型权重和训练代码都已开源。 本文是模型介绍和技术报告。
深读
导读 NeoMME 是 Hugging Face 发布的一个多模态原生编码器家族，用单个双向 Transformer 统一处理文本、图像和音频，无需为每种模态单独设计编码器。它在多语言视觉文档检索任务上以远小于主流模型的参数量达到了有竞争力的性能，且权重和训练代码已开源。读完能了解一种不同于 VLM 路线的多模态编码方案及其在检索场景下的实际表现。 关键信息 - NeoMME 提供 260M 和 800M 两种参数规模，不使用任何预训练的视觉塔或因果语言模型，所有模态共享同一个 Transformer 编码器。 - 在 ViDoRe v3 基准上，NeoMME-Retriever-260M 的 nDCG@10 达到 0.523，是所有严格低于 800M 参数模型中最高分，且与 3.75B 参数的 ColQwen2.5 仅差 0.002。 - 在单张 NVIDIA L40S 上处理 2048×2048 输入时，260M 模型每秒可编码约 51 页，约为 ColModernVBERT 的两倍。 - 通过分层 token 池化与非对称量化，可将每页的 late-interaction 索引存储从约 1.5 MB 压缩至 6 kB（缩小 255 倍），同时保留超过 95% 的基线 nDCG@10。 - 预训练使用 NorMuon 优化器，处理约 5240 亿 packed token（其中 2900 亿来自纯文本），词汇表大小为 131k，支持多语言、代码和数学文本。 逐节讲解 为什么还需要一个新的多模态编码器 当前主流的视觉文档检索模型大多从预训练的生成式 VLM 改造而来：先用一个独立的视觉编码器提取特征，通过投影层映射到语言模型的输入空间，再用因果解码器处理。这种架构对检索、分类等非生成任务来说，引入了不必要的参数和计算开销。NeoMME 的目标是设计一个无需携带 VLM 开销的双向编码器，直接在一个 Transformer 中处理图像和文本。 编码器架构：一个 Transformer 处理所有模态 NeoMME 的 260M 和 800M 版本共享同一架构设计。文本输入使用分解式 token 嵌入，图像被分割成 32×32 的非重叠 patch 并通过一个小型 MLP 投影，两者进入同一个 Transformer 编码器。模型支持动态图像分辨率（保持原始宽高比），上下文长度为 16384 token（足以容纳两张 4K 图像）。大多数层使用对称滑动窗口注意力，每六层和最后一层使用全局注意力。架构中集成了分组查询注意力、查询-键归一化、门控注意力、2D 旋转位置编码和 squared-ReLU MLP 等现代改进。 预训练：通过掩码文本学习图像 NeoMME 从头开始训练，目标是一个离散的掩码扩散文本去噪器。纯文本样本的掩码率在 0 到 1 之间均匀采样，多模…