NVIDIA 用机密计算实现高性能安全推理
来自 NVIDIA Developer · 期号 2026-09-23
摘要
NVIDIA 在 Blackwell GPU 上实现了机密计算，让 AI 推理能在加密内存中安全运行。 机密计算会改变推理框架的运行时假设：主机到设备的数据传输需要经过软件加密的 bounce buffer，pinned memory 不再提供异步传输优势；内核自动调优器的 CUDA 事件计时信号不稳定；NVLink SHARP 多播在 B200 机密配置下不可用。 TensorRT-LLM 针对这些变化做了适配：对受影响的数据路径改用 pageable memory，将重复的 token 和采样数据回读交给异步 worker，用 GPU %globaltimer 替代 CUDA 事件做策略测量，并检测 NVLS 可用性选择通信算法。 在 8 块 B200 GPU 上运行 DeepSeek-R1（32K 输入 / 1K 输出，并发 1–16），开启机密计算后输出 token 吞吐量保留了 96.1%–98.2%，每个 token 的延迟开销在 1.2%–4.3% 之间。 原文给出了完整的测试配置和复现方法，适合需要将私有推理部署到生产环境的平台工程师参考。
深读
导读 NVIDIA 官方技术博客详细介绍了在 Blackwell B200 GPU 上启用机密计算（Confidential Computing）后，如何通过 TensorRT-LLM 框架的针对性适配，将推理性能损失控制在 5% 以内。对于正在评估或部署私有化 AI 推理的工程团队，本文提供了可复现的基准测试方法和具体的运行时优化策略。 关键信息 - 在 8 块 NVIDIA B200 GPU 上运行 DeepSeek-R1（32K 输入 / 1K 输出，并发 1–16），开启机密计算后输出 token 吞吐量保留了基线（CC off）的 96.1% 至 98.2%，平均每 token 延迟（TPOT）开销仅为 1.2% 至 4.3%。 - 机密计算环境下，主机到设备的数据传输必须经过软件加密的 bounce buffer，导致 pinned memory 失去异步传输优势，部分拷贝操作会阻塞调用线程。 - TensorRT-LLM 的适配方案包括：对受影响的数据路径改用 pageable memory；将重复 token 和采样数据回读交给异步 worker；用 GPU %globaltimer 替代 CUDA 事件做内核自动调优器的策略测量。 - NVLink SHARP（NVLS）多播在 B200 机密配置下不可用，框架需检测 NVLS 可用性并选择非多播的通信算法。 - 测试环境为单台 NVIDIA DGX B200 系统（8 块 B200 GPU），主机平台为 Intel TDX，Guest OS 为 Ubuntu 24.04.4 LTS，TensorRT-LLM 版本为 1.3.0rc22。 逐节讲解 选择能暴露机密计算开销的工作负载 工作负载特性决定了机密计算开销的可见度。高并发请求可以通过重叠 stall 来摊销固定的加密成本，使直接效果难以观察。为了暴露这些影响，应选择长输入上下文、长输出生成、低并发的工作负载：长上下文加大 prefill 阶段的数据移动压力，长生成放大 decode 阶段每 token 的小额开销，低并发则限制了跨请求隐藏成本的能力。NVIDIA 性能工程团队据此选择了 DeepSeek-R1，配置为 32K 输入 / 1K 输出，并发数 1 到 16。 用受控对比测量机密计算开销 隔离性能影响的方法是：保持模型、硬件、框架版本、序列长度、并行度和并发数不变，仅在 CC off 和 CC on 两种条件下运行同一工作负载。测量指标为输出吞吐量保留率（CC on 输出 token 数/秒 ÷ CC off 输出 token 数/秒 × 100）和 TPOT 延迟开销（CC on TPOT ÷ CC off TPOT − 1 × 100）。测试硬件为单台 DGX B200 系统，使用 Intel TDX 平台，Tensor…