如何为 AI 推理合理配置 GPU 并优化 TCO
来自 NVIDIA Developer · 期号 2026-09-01
摘要
为 AI 推理配置 GPU 资源时，常见的误区是买得太多或太少。 NVIDIA 这篇指南的核心思路是：先定延迟目标，再选模型，最后根据流量模式算 GPU 数量。延迟目标决定了单次推理能花多少时间，这反过来限制了能用的模型大小和量化精度。流量模式则决定了峰值并发数，是算 GPU 数量的分母。 文章给出了一个简化公式：所需 GPU 数 = 峰值 QPS × 单次推理延迟（秒）。如果延迟是 100ms，峰值是 1000 QPS，那么至少需要 100 个 GPU 实例同时跑。 另外，TCO 不只是 GPU 采购价，还包括电力、冷却、运维和软件许可。文中建议用每小时总成本除以吞吐量来算每 token 成本，这才是真正的性价比。 原文是实操指南，适合正在做推理基础设施选型的团队。