用 C++ 和 NVIDIA TensorRT RTX
来自 NVIDIA Developer · 期号 2026-10-02
摘要
NVIDIA 发布了开源项目 DIN Deploy，提供一套 C++ 示例代码，把 ONNX Runtime 和 TensorRT RTX 执行提供者组合在一起，让开发者能在 Windows 和 Linux 上跑本地 AI 推理。 每个示例分成两步：先用 Python 导出器把 Hugging Face 上的模型转成 ONNX 格式，再用 C++ 命令行工具调用 ONNX Runtime 的 session 和 tensor API 做推理。模型转换和部署逻辑是分开的，导出的 ONNX 文件可以直接拿到本地应用里用，不需要模型专属的运行时。 支持的 AI 任务包括：语音识别（OpenAI Whisper、NVIDIA Parakeet TDT、Nemotron ASR Streaming）、交互式分割（Meta SAM 2.1）、以及文生图（FLUX.2-klein-4B）。 在 DGX Spark 上的性能数据：Nemotron ASR 流式推理达到 39 倍实时加速，Parakeet TDT 达到 206 倍，SAM 2.1 在 GPU 上跑 38.3 FPS（CPU 只有 0.5 FPS）。FLUX.2 示例展示了 ONNX Runtime 1.25 的图形互操作能力（Vulkan 和 DirectX），以及用 NVIDIA Model Optimizer 做训练后量化——量化后的 ONNX 模型可以直接替换原模型，应用代码不用改。 项目提供 CMake 预设，支持 Windows、Linux、x86-64 和 Arm64，默认自动下载 ONNX Runtime 和 TensorRT RTX。