TensorRT Edge-LLM 在 MLPerf 边
来自 NVIDIA Developer · 期号 2026-09-17
摘要
AI agent 正从云端走向车辆、机器人等边缘设备。与单轮对话不同，agent 需要多轮工具调用，上下文不断增长，对边缘推理提出了新要求。 NVIDIA 用 TensorRT Edge-LLM 在单块 Jetson AGX Thor 上运行 Qwen3.6-27B，MLPerf Edge Agentic 基准测试中达到 52.33 tokens/s，完成全部 1007 轮对话耗时 24 分 36 秒，是 llama.cpp 参考实现（2 小时 37 分）的 6.4 倍。 加速来自三项技术：NVFP4 量化将权重和激活都压到 4 位，减少显存带宽瓶颈；KV cache 复用让约 96% 的 prompt token 命中热缓存，整个轨迹只需预填充约 0.5M 的 13.6M 总 token；树状多 token 预测（8 步、top-2、16 节点验证树）相比线性 MTP 额外带来约 40% 的解码性能提升。 BFCL v4 单轮准确率 87.94%。官方提供了校准后的 NVFP4 检查点和 TensorRT Edge-LLM 分支，开发者可复现该结果。
深读
导读 AI agent 正从云端走向车辆、机器人等边缘设备，其多轮工具调用的长上下文特性对边缘推理提出了新挑战。NVIDIA 用 TensorRT Edge-LLM 在单块 Jetson AGX Thor 上运行 Qwen3.6-27B，在 MLPerf Edge Agentic 基准测试中达到 52.33 tokens/s，完成全部 1007 轮对话耗时 24 分 36 秒，是 llama.cpp 参考实现的 6.4 倍。这篇文章详细拆解了达成这一性能的三项核心技术：NVFP4 量化、KV cache 复用和树状多 token 预测。 关键信息 - 硬件平台：单块 NVIDIA Jetson AGX Thor Developer Kit，128 GB 统一内存，MAXN 功耗模式。 - 模型：Qwen3.6-27B，使用 NVFP4 量化权重和激活、FP8 量化 KV cache。 - MLPerf Edge Agentic 性能阶段包含 20 段对话、1007 个生成轮次，输入长度随轮次增长至约 23.5K token。 - 输出吞吐量 52.33 tokens/s，中位首 token 延迟 247.12 ms，中位每输出 token 延迟 14.68 ms。 - BFCL v4 单轮准确率 87.94%。 - 相比 llama.cpp 的 Q4_K_M 量化参考实现（2 小时 37 分），TensorRT Edge-LLM 完成全部工作负载仅需 24 分 36 秒，快 6.4 倍。 - KV cache 复用使约 96% 的 prompt token 命中热缓存，整个轨迹只需预填充约 0.5M 的 13.6M 总 token。 - 树状 MTP（8 步 draft、top-2 候选、16 节点验证树）相比 3 步线性 MTP 额外带来约 40% 的解码性能提升。 逐节讲解 MLPerf Edge Agentic 基准测试如何衡量端到端 agent 性能 MLPerf Edge Agentic 分两个阶段：性能阶段和准确率阶段。性能阶段回放录制的软件工程 agent 轨迹：模型收到用户请求、生成工具调用、观察工具结果、继续同一段对话。工作负载包含 20 段对话和 1007 个生成轮次，输入长度随轮次增长至约 23.5K token，长上下文处理成为重要测量维度。同时通过基于交并比（IoU）的内联准确率确保性能阶段 agent 运行正确。准确率阶段使用 Berkeley Function Calling Leaderboard (BFCL) v4 的单轮提示，关闭推理功能，以在边缘设备上平衡准确率和评估时间，评估模型是否选择正确函数、生成有效参数、以及在不需要工具时不调用工具。 Jetson AGX Thor 上的 MLPerf Edge Agentic…