在 NVIDIA GB300 NVL72 上实验
来自 NVIDIA Developer · 期号 2026-08-27
摘要
阿里巴巴发布了 Qwen3.8-Flash-Next，作为下一代 Qwen4 架构的预览版。这是一个多模态 MoE 模型，总参数量 125B，每 token 激活 6B，原生上下文窗口 262K token（可扩展至 1M），并额外附带 51B 的 N-gram 嵌入。NVIDIA 提供了在 GB300 NVL72 上用它做 agentic coding 的实验指南。
深读
导读 阿里巴巴发布了 Qwen3.8-Flash-Next，作为下一代 Qwen4 架构的预览版。这是一个专为长上下文和 agentic coding 设计的多模态 MoE 模型，其混合注意力架构在 100 万 token 的推理场景下相比全注意力机制有数倍加速。NVIDIA 提供了在 GB300 NVL72 上运行该模型的实验指南，实测单 GPU 吞吐超过 16K tokens/s。 关键信息 - 模型总参数量 125B，每 token 激活 6B，额外附带 51B 的 N-gram 嵌入。原生上下文窗口 262,144 token，可通过 YaRN 扩展至 100 万 token。 - 架构采用混合注意力：每 4 层中有 3 层使用 Gated DeltaNet (GDN) 将历史上下文压缩为固定大小的循环状态，消除 KV 缓存随序列增长的问题；剩余 1 层使用 Qwen Sparse Attention (QSA) 进行全上下文的精确检索。 - QSA 将序列聚合为微块，在块级别估计重要性并只选择最相关的区域，而非逐 token 索引。相比全注意力，在 100 万 token 负载下，prefill 加速最高 7.6 倍，decoding 加速最高 4.9 倍。 - 在 100 万 token 上下文、90% 前缀缓存命中率的在线服务测试中，Qwen3.8-Flash-Next 的 prefill 吞吐是 Qwen3.7-Plus 的 8.6 倍。 - 在 NVIDIA GB300 NVL72 上运行，单 GPU 吞吐超过 16K tokens/s，单用户吞吐超过 200 tokens/s。该平台集成 72 块 Blackwell Ultra GPU，NVLink 域内全互联带宽 130 TB/s。 - 开发者可使用 NVIDIA NeMo AutoModel 进行微调（支持全量 SFT 或 LoRA），并使用 NeMo RL 进行强化学习。推理引擎支持 SGLang、vLLM 和 TokenSpeed。 逐节讲解 模型定位与架构创新 Qwen3.8-Flash-Next 是 Qwen4 架构的预览版，面向高吞吐、上下文密集的应用场景，如 agentic coding、文档处理和工具驱动的工作流。随着上下文增长，注意力计算和 KV 缓存内存成为瓶颈。模型通过混合架构解决这两个问题：GDN 层将历史上下文持续压缩为固定大小的循环状态，使 KV 缓存不再随序列长度增长；QSA 层则负责在全上下文中精确检索。此前稀疏注意力方法依赖逐 token 索引器，上下文越长计算开销越大。QSA 的做法是将序列聚合为微块，在块级别评估重要性，只选择最相关的区域，从而降低每层的注意力、计算和索引开销。 长上下文性能基准 阿里巴巴发布的基准测试显示，QSA 在 100 万…