稠密模型 vs MoE 模型：如何选择
来自 NVIDIA Developer · 期号 2026-09-16
摘要
NVIDIA 发文对比了稠密模型与混合专家（MoE）模型的核心差异。 稠密模型每个 token 激活全部参数，MoE 模型只激活其中一部分，从而将内存成本与计算成本解耦。以 Nemotron 3.5 Lightning（30B 总参数、3B 活跃参数）和 Gemma 4 31B 为例，两者总参数量相近，但 Lightning 的输出速度是后者的两倍以上，价格却只有一半。不过在高并发下，MoE 的延迟优势会收窄。 MoE 的微调需要留意路由失衡问题，量化对路由层的影响也与稠密模型不同。选择哪种架构，取决于内存预算、并发需求、微调计划和量化行为，而非单纯的参数量。 本文给出了详细的对比表格和部署建议。