NVIDIA TensorRT 多设备推理简化多 GPU
来自 NVIDIA Developer · 期号 2026-09-22
摘要
大模型的显存需求已经超过单张 GPU 的容量。NVIDIA 的新方案是让一张 TensorRT 网络跨多张 GPU 执行，底层用 NCCL 做分布式集合通信，同时保留 TensorRT 的推理优化。 Dynamo-Triton 26.07 把这个能力接入了推理服务：一个 KIND_MODEL 实例可以持有多张 GPU，对外只暴露一个 gRPC 端点，应用层不用自己协调各 GPU 的 rank。 用 Cosmos 3 Nano 视频生成做了演示。36 层去噪 transformer 占了单 GPU 生成时间的 93.4%，用 Ulysses 上下文并行把 44,160 个视频 token 分到最多八张 GPU 上。端到端延迟从单卡的 156.6 秒降到八卡的 34.2 秒，transformer RPC 加速比达到 6.09 倍。 各配置用同一种子生成，输出做了视觉验证：CP2 和 CP4 的 MAE 12.759、PSNR 21.111 dB，CP8 的 MAE 16.316、PSNR 19.400 dB，画面内容一致。 原文附了完整的配置示例和 benchmark 方法，适合想用多卡换延迟的团队复现。