Meta 发布开源多模态 MoE 模型 Muse
来自 Hugging Face · 期号 2026-10-15
摘要
Meta 发布了 Muse Spark Open，一个开源权重的多模态混合专家模型。 它总参数约 816B，每 token 激活约 42B。语言模型每层有 256 个专家，路由为每个 token 选 8 个。专家参数占总参数的 97%，所以部署需要 816B 模型的内存，但推理速度接近 42B 模型。 模型接受文本、图像、音频和视频输入，输出文本。音频编码器每 80 毫秒产生一个 token，10 秒音频约 125 个输入 token。上下文窗口 100 万 token，包含图像、视频和音频 token。 Meta 称其为面向 agentic coding 训练的模型，能读代码库、写和调试代码、调用工具。BF16 检查点约 1.5 TB，需 4 节点 8×H200 运行；NVFP4 检查点专为 Blackwell GPU 设计，单节点 B200 即可运行。 Hugging Face 提供了 Transformers、llama.cpp、vLLM、SGLang 等推理方案，以及用 TRL 微调的教程。
深读
导读 Meta 发布了目前美国开源权重模型中能力最强的多模态混合专家模型 Muse Spark Open，总参数约 816B，每 token 激活约 42B，上下文窗口达 100 万 token。它专为 agentic coding 场景训练，能同时处理文本、图像、音频和视频输入，并支持工具调用。读完本文可以了解其架构设计、部署方案以及 Hugging Face 生态中的推理和微调支持。 关键信息 - 语言模型共 62 层，隐藏维度 8192，每层 128 个 query head 和 16 个 key-value head（分组查询注意力），每个 head 维度 64。 - MoE 每层 256 个专家，路由为每个 token 选 8 个，专家参数占总参数的约 97%，BF16 检查点约 1.5 TB。 - 音频编码器每 80 毫秒产生一个 token，10 秒音频约 125 个输入 token；处理器要求单声道 24 kHz 波形，填充到 1920 样本的倍数。 - 上下文窗口最大 1,048,576 token，包含图像、视频和音频 token；BF16 下每 token 增加约 250 KB KV cache，满上下文约需 266 GB。 - BF16 检查点需 4 节点 8×H200 GPU（TP=32）运行；NVFP4 检查点专为 NVIDIA Blackwell GPU 设计，单节点 B200 即可运行。 - llama.cpp 上 Q2_K 量化在 Mac M3 Ultra（512GB）上实测约 18 token/s，模型占用 304 GB；oMLX 上 oQ3e 量化在 M3 Ultra 上预填充约 225 token/s、生成约 21 token/s。 逐节讲解 整体能力与架构 Muse Spark Open 是 Muse 系列的全尺寸模型，此前 Meta 在 8 月发布的 Muse Glimmer 是同一系列的小型密集模型。两者使用相同的 tokenizer 和词汇表，但 Muse Spark Open 将每层的密集前馈网络替换为 MoE 块。输入嵌入和输出层是独立的矩阵，各约 1.66B 参数。每个 MoE 块有 256 个专家，每个专家是一个从 8192 维投影到 4096 维再投影回 8192 维的前馈网络，并自带输出归一化。注意力块带有输出门和输出归一化层，对 query 和 key 也做归一化（QK-norm），每个块通过可学习的残差门（而非简单求和）组合输入和输出。 感知编码器与音频编码器 感知编码器将图像和视频帧转换为语言模型的 token，结构与 Muse Glimmer 30B 相同，参数量 1.8B，50 层，隐藏维度 1536，16 个 attention head。它将每张图像分割为 14×14 的 patch，…