Meta 发布 Muse Spark Open
来自 NVIDIA Developer · 期号 2026-10-16
摘要
Meta 发布了 Muse Spark Open，一个 816B 参数的 MoE 编码模型，每 token 激活 42B 参数，上下文窗口 1M token。 它专为 agentic coding 设计，能规划多文件重构、跨仓库理解代码库、调用工具并自我纠错。模型通过 1.8B 感知编码器原生处理文本、图像、视频和音频，无需为每种模态单独建管道。 模型在 NVIDIA GB300 NVL72 上训练和优化，运行 agentic 工作负载时每 GPU 可达 50K token/s，每用户 600 token/s。NVFP4 检查点利用 FP4 Tensor Core 加速，将 816B 参数的内存占用压缩到原来的四分之一，腾出的空间支持更大的 KV 缓存以处理并发长上下文会话。 开发者可从 Hugging Face 下载 NVFP4 权重，或使用 NVIDIA NIM 一键部署生产环境。
深读
导读 Meta 发布了一款专为 agentic coding 设计的 816B 参数 MoE 模型 Muse Spark Open，每 token 仅激活 42B 参数，并拥有 1M token 的上下文窗口。它能在单个会话中处理多文件重构、跨仓库代码理解、工具调用和自我纠错，并原生支持文本、图像、视频和音频。读完本文，你将了解该模型的架构特点、在 NVIDIA GB300 NVL72 上的性能表现，以及如何快速上手部署。 关键信息 - 模型规模与激活参数：Muse Spark Open 总参数量 816B，采用稀疏 MoE 架构，每 token 通过 top-8 路由激活 42B 参数，共 256 个专家。 - 上下文窗口：支持 1M token 上下文，可容纳包含复杂依赖、遗留代码和数千个文件的完整项目，无需将任务拆解。 - 多模态感知：配备 1.8B 感知编码器，原生处理交错的文本、图像、视频帧和音频，无需为每种模态单独构建管道。 - 推理性能：在 NVIDIA GB300 NVL72 上运行 agentic 工作负载时，每 GPU 可达 50K token/s，每用户 600 token/s。 - 内存优化：NVFP4 检查点利用 FP4 Tensor Core 加速，将 816B 参数的内存占用压缩至四分之一，释放的空间支持更大的 KV 缓存以处理并发长上下文会话。 - 部署选项：开发者可从 Hugging Face 下载 NVFP4 权重，或使用 NVIDIA NIM 一键部署生产环境。 逐节讲解 专为 Agentic Coding 设计的 MoE 架构 本节对比了通用编码模型与 agentic coding 模型的核心差异。通用模型擅长单次补全任务（如生成函数、编写单元测试），但 agentic coding 需要规划多文件重构、在数千个文件中导航、从失败的测试中恢复，以及跨长时间跨度协调子 agent。Muse Spark Open 专为此类工作流构建，具备规划、行动、观察和自我纠错能力。它通过目标条件（goal conditioning）保持方向，通过上下文压缩（context compaction）维持长会话中的知识。此外，模型还能搜索网络（含多模态浏览）、生成并协调子 agent，以及统一使用桌面、移动端和浏览器的计算机操作能力，并在每次行动前生成独立注释，让开发者了解 agent 的意图和原因。 在 GB300 NVL72 上的优化性能 NVIDIA GB300 NVL72 采用机架级架构，集成 72 块 Blackwell Ultra GPU，通过 130 TB/s 的 NVLink 域实现高效通信，消除了稀疏 MoE 模型中专家流量跨传统网络传输的瓶颈。对于 Muse Spark Open（每 token 路由至 8 个专家），这…