走进 Nemotron 与 NVIDIA AI 实验室
来自 The MAD Podcast with Matt Turck · 期号 2026-07-02
摘要
NVIDIA 是芯片公司，却养着数百名研究员做 AI 模型，还免费开源。Bryan Catanzaro 是 NVIDIA 应用深度学习研究副总裁，他解释了背后的商业逻辑：模型是 GPU 的“杀手应用”，开源模型能扩大整个生态，最终卖出更多芯片。 他介绍了 Nemotron 3 Ultra 的技术细节：4-bit 预训练（NVFP4）、混合 Mamba-Transformer 架构、MoE、多 token 预测（一次预测 5 个 token）、多教师蒸馏。这些技术都围绕一个目标——让模型在推理时更快，因为 NVIDIA 认为 agent 场景下速度比精度更重要。 一个反直觉的观点：他认为开源 AI 比闭源更安全。理由是开源模型可以被更多人审计，漏洞发现得更快。 他不相信奇点。他认为 AI 是工具，不是取代人类的智能。
深读
导读 原文信息有限，以下基于节目简介。这期播客访谈了 NVIDIA 应用深度学习研究副总裁 Bryan Catanzaro，深入解释了这家芯片公司为何投入数百名研究员自建 AI 模型并免费开源，以及其背后的商业逻辑。听完能理解 NVIDIA 的模型策略、Nemotron 3 Ultra 的核心技术选择，以及一个反直觉的观点，为什么他认为开源 AI 比闭源更安全。 关键信息 - Bryan Catanzaro 是 NVIDIA 应用深度学习研究副总裁，曾参与创建 cuDNN（NVIDIA 第一个深度学习产品）、共同发明 DLSS、命名并构建了 Megatron 框架。 - Nemotron 3 Ultra 是 NVIDIA 近期发布的最强开源权重模型之一，采用 4-bit 预训练（NVFP4）、混合 Mamba-Transformer 架构、MoE、多 token 预测（一次预测 5 个 token）和多教师蒸馏。 - NVIDIA 认为在 agent 场景下，模型推理速度比精度更重要，因此 Nemotron 的技术选择都围绕推理加速。 - Bryan 认为开源 AI 比闭源更安全，理由是开源模型可以被更多人审计，漏洞发现得更快。 - 他不相信奇点，认为 AI 是工具，不是取代人类的智能。 逐节讲解 芯片公司为什么自己做模型 NVIDIA 是芯片公司，却养着数百名研究员做 AI 模型并免费开源。Bryan 解释了背后的商业逻辑：模型是 GPU 的“杀手应用”，开源模型能扩大整个生态，最终卖出更多芯片。节目还讨论了开源 AI 是否在追赶前沿、闭源实验室阻止蒸馏是否会拖慢开源进展、以及美国在开源模型方面是否落后于中国。 Nemotron 3 Ultra 的技术细节 Bryan 详细介绍了 Nemotron 3 Ultra 的技术选择，所有技术都围绕一个目标，让模型在推理时更快。具体包括：4-bit 预训练（NVFP4）以降低计算和存储成本；混合 Mamba-Transformer 架构结合了两种结构的优势；MoE 架构与 NVIDIA 的 NVL72 硬件设计协同；多 token 预测让模型一次预测 5 个 token 以加速推理；多教师蒸馏用一个模型从多个教师模型学习。此外，模型支持 100 万 token 的上下文窗口。 开源 vs 闭源与 AI 安全 Bryan 提出了一个反直觉的观点：开源 AI 比闭源更安全。理由是开源模型可以被更多人审计，漏洞发现得更快。他不相信奇点，认为 AI 是工具，不是取代人类的智能。节目还讨论了强化学习的下一步方向、NVIDIA 研究组织的运作方式（“使命就是老板”），以及公司如何决定谁获得 GPU 资源。 值得注意 节目简介只列出了话题标题，没有展开任何对话内容。上述讲解基于简介中提到的技术名词和观点，具体的技术原理、论证细节…