NVIDIA Nemotron 3.5 Super VL
来自 NVIDIA Developer · 期号 2026-10-16
摘要
NVIDIA 发布了开源多模态模型 Nemotron 3.5 Super VL。 企业 agent 要同时处理文档、图片、视频和工具调用，过去需要拼装多个模型。这个模型把推理、指令跟随、工具使用和视觉理解合并到一个 120B MoE 架构里，每 token 只激活 12B 参数。 在单张 GPU 上，它的 agent 任务吞吐量比同类开源模型高 5 倍。Scale AI 用它处理供应商信用审核，推理成本降了 40 倍、延迟降了 5 倍；Ramp 做收据转 JSON，吞吐量提升 50%、延迟降 10 倍；AI21 做威胁情报分析，准确率提高 41%。 模型用 LiLiCorr 投机解码（比无投机快 2.3 倍）、NVFP4 量化感知蒸馏、多 token 预测和上下文复用。在 CharXiv 图表推理上得分 80.8%（加代码解释后 84%），Hermes Bench 63.44%、LangChain 评测 87.05%，均超过 Nemotron 3 Ultra。 NVIDIA 同时开源了约 2.8T token 的 22 种印度语言数据集。开发者可以用 NeMo 做 SFT、LoRA 和强化学习来定制模型。
深读
导读 NVIDIA 发布了开源多模态模型 Nemotron 3.5 Super VL，专为需要同时处理文本、图像、文档和视频的企业 agent 工作流设计。它采用 120B MoE 架构（每 token 激活 12B），在单 GPU 上 agent 任务吞吐量比同类开源模型高 5 倍。读完可以了解它的架构设计、定制方法、推理优化技术，以及 Scale AI、Ramp 等企业用它实现的成本与效率提升。 关键信息 - 模型采用 120B 参数的混合专家（MoE）架构，每 token 只激活 12B 参数。 - 在单张 GPU 上，agent 任务吞吐量比同类开源模型高 5 倍，在 Baseten 端点达到超过 600 TPS。 - Scale AI 用该模型处理供应商信用审核，推理成本降低 40 倍、延迟降低 5 倍；Ramp 做收据转 JSON，吞吐量提升 50%、延迟降低 10 倍；AI21 做威胁情报分析，准确率提高 41%。 - 在 CharXiv 图表推理基准上得分 80.8%，配合 Python 代码解释后达到 84%；Hermes Bench 得分 63.44%，LangChain 评估得分 87.05%，均超过 Nemotron 3 Ultra。 - LiLiCorr 投机解码比无投机解码快 2.3 倍；NVFP4 量化感知蒸馏将 KV 缓存精度降至 NVFP4 而不损失准确率。 - 模型在 DGX Spark 上本地运行，EXO Labs 独立评估将其置于准确率和任务完成时间的帕累托前沿。 逐节讲解 为什么 Nemotron 3.5 Super VL 适合专用 agent 企业 agent 需要同时理解任务和运行环境：客服 agent 要遵循退货政策，研究 agent 要跨来源连接证据，文档 agent 要解读表格、图表和页面布局。该模型将推理、指令跟随、工具使用与文本、图像、文档、视频理解合并到一个模型中，覆盖编码、网页研究、文档智能、网络安全和视频理解等场景。在模型体系中，它处理需要推理、工具使用和视觉理解的多步骤工作，而小模型（如 Nemotron 3.5 Lightning）处理高容量文本任务，前沿模型（如 Nemotron 3 Ultra）处理复杂规划与编排。 用领域数据、工具和策略定制模型 专用 agent 必须学习组织的运作方式：领域术语、工具接口、操作流程和政策要求。NVIDIA 用 NeMo 开源库支持后训练，开发者可使用监督微调（SFT）和低秩适配（LoRA）教授领域特定行为，用强化学习（RL）在反映组织工作流的 agent 环境中提升性能。NVIDIA 同时在 Hugging Face 上发布了开放数据集，包括 agent 工具使用和对话数据、金融推理和工具调用数据、指令跟随和聊天数据、长上下文转导和翻译数据、公平性数据，…