用 AIPerf 做大规模 LLM 推理基准测试
来自 NVIDIA Developer · 期号 2026-09-19
摘要
NVIDIA 发布了 AIPerf，这是 GenAI-Perf 的彻底重写版，用于大规模 LLM 推理基准测试。 旧版用单进程架构，高并发下客户端自己先成了瓶颈。AIPerf 改用多进程：工作进程负责生成负载，独立的记录处理器处理结果，通过 ZMQ 协调。这样测出来的才是服务器的真实上限。 它支持 15 种以上的端点类型（chat、responses、NIM 排序、图像生成等），以及 ShareGPT 和来自 Mooncake、Baseten、WEKA AgentX 的 trace replay 格式。负载模式可以选恒定、泊松或伽马分布，还能调突发程度。 核心指标是 TTFT、ITL、请求延迟和输出 token 吞吐量，每个都按百分位（p25 到 p99）给出。如果装了 DCGM 或 pynvml，GPU 功耗、利用率和内存占用也会一并输出。 文章用 Qwen3-0.6B 在 vLLM 上走了一遍完整流程，从静态基准到泊松流量模式都有示例。
深读
导读 NVIDIA 正式发布了 AIPerf，这是 GenAI-Perf 的彻底重写版，专为大规模 LLM 推理基准测试设计。它解决了旧版单进程架构下客户端自身成为瓶颈的核心问题，让工程师能测出服务器的真实性能上限。读完本文，你将了解 AIPerf 的多进程架构设计、支持的 15 种以上端点类型和多种负载模式，以及如何通过一个完整的 Qwen3-0.6B 示例跑通首次基准测试并解读核心指标。 关键信息 - AIPerf 采用多进程架构：工作进程生成负载，独立的记录处理器处理结果，通过 ZMQ 协调，避免客户端在并发测试中成为瓶颈。 - 支持 15 种以上的端点类型，包括 chat、responses、NIM rankings、图像生成等，以及 ShareGPT 和来自 Mooncake、Baseten、WEKA AgentX 的 trace replay 格式。 - 负载模式支持恒定、泊松和伽马分布，并带有可调的突发程度（burstiness），以及用于并发和请求率的渐进式爬坡（gradual ramping）。 - 核心指标包括 TTFT（首 token 延迟）、ITL（token 间延迟）、请求延迟和输出 token 吞吐量，每个指标都按 p25、p50、p75、p90、p95、p99 百分位给出。 - 如果安装了 DCGM 或 pynvml，AIPerf 还会在同一输出中报告 GPU 功耗、利用率和内存占用，便于将延迟峰值与内存压力事件关联。 - 文章使用 Qwen3-0.6B 在 vLLM 上演示了从静态基准测试（固定 128 输入/输出 token）到动态泊松负载模式（平均 10 req/s，输入 token 均值 512、标准差 128）的完整流程。 逐节讲解 AIPerf 的设计思路与架构差异 文章首先指出，部署模型后判断“快不快”的常见做法，手写 curl、asyncio 脚本或临时负载生成器，都存在单进程性能限制、Python GIL 限制并发、以及结果不可复现的问题。AIPerf 是 GenAI-Perf 的指定继任者，是一次彻底的架构重写。关键区别在于：AIPerf 不再运行在 Perf Analyzer 之上，而是采用多进程系统，通过 ZMQ 协调工作进程和记录处理器，确保客户端不会成为瓶颈。此外，它支持 15 种以上端点类型和多种公共数据集，负载形状可精确控制，而不仅仅是负载量。 首次基准测试：vLLM 上的静态 ISL/OSL 测试 文章以 Qwen3-0.6B 通过 vLLM 提供服务为例，演示了首次基准测试。模型选择故意很小，以便在单 GPU 上快速迭代。关键命令参数包括：--synthetic-input-tokens-stddev 0 和 --output-tokens-stddev 0 将负载固定为恰好 128 输入和…