在 GB300 NVL72 上部署 Qwen3.8-2
来自 NVIDIA Developer · 期号 2026-08-13
摘要
阿里巴巴开源了 Qwen3.8-2.4T-A95B（Qwen3.8-Max），这是其最大的开源模型，总参数量 2.4T，每 token 激活 95B。它采用细粒度 MoE 架构，混合了全注意力和线性注意力，支持百万 token 上下文窗口和长输出。NVIDIA 展示了如何在 GB300 NVL72 上部署该模型，并提供了可配置的推理方案。
深读
导读 阿里巴巴开源了其最大的 MoE 模型 Qwen3.8-2.4T-A95B（Qwen3.8-Max），总参数量 2.4T，每 token 激活 95B。NVIDIA 在 GB300 NVL72 上展示了该模型的部署方案，Day-0 即可达到每 GPU 超 4000 tokens/s 的吞吐量。读完本文能了解该模型的架构创新、性能数据以及可选的推理和微调路径。 关键信息 - 模型总参数量 2.4T，每 token 激活 95B，采用细粒度 MoE 架构，混合全注意力和线性注意力。 - 上下文窗口最高 100 万 token，输出长度最高 128K token。 - 在 GB300 NVL72 上，FP8 精度下 Day-0 吞吐量超过每 GPU 4000 tokens/s，每用户超过 350 tokens/s。 - 内置低、高、超高三级推理控制，允许按任务调整计算投入与推理质量。 - 支持通过 SGLang、vLLM、NVIDIA Dynamo 等开源推理框架部署，也可通过 NVIDIA NIM 容器一键部署。 - 可使用 NVIDIA NeMo AutoModel 进行全参数 SFT 或 LoRA 微调，直接加载 Hugging Face 检查点，无需模型转换。 逐节讲解 模型架构：混合注意力与细粒度 MoE Qwen3.8-2.4T-A95B 专为 agentic 工作负载设计，如编码、大规模文档分析和多步骤推理。这类任务会累积系统指令、工具输出、检索文档、日志和推理轨迹，导致上下文不断增长，注意力计算和 KV cache 成为瓶颈。模型采用全注意力层与线性注意力层交替的混合架构：全注意力层中每个 token 关注所有其他 token，线性注意力层则将不断增长的 KV cache 替换为有界循环状态，从而在上下文扩展到百万 token 时仍能控制计算和内存开销。 细粒度 MoE 将容量分散到更多、更小的专家上，提升每单位激活计算的专业化和路由效率。学习路由器每 token 只激活所需专家，服务成本仅跟踪激活参数（95B），而非全部 2.4T 参数。 GB300 NVL72 上的性能 GB300 NVL72 将 72 块 NVIDIA Blackwell Ultra GPU 整合为单一平台，通过 130 TB/s 的 NVLink 实现全互联，消除专家流量跨传统网络时的瓶颈。在该平台上，模型无需额外调优即达到每 GPU 超 4000 tokens/s、每用户超 350 tokens/s 的吞吐量。文章提到 NVFP4 精度优化预计将带来进一步提升。 部署与微调路径 NVIDIA 提供多条推理路径：SGLang、vLLM 和 NVIDIA Dynamo 提供开源推理配方，适合需要精细控制性能的开发者；NVIDIA NIM 是一个模型无关的推理容器，下载权重…