用 Global Performance Tuner 扩
来自 NVIDIA Developer · 期号 2026-10-24
摘要
TensorRT 编译引擎时要做一系列相互依赖的调度决策：图变换、算子融合、实现选择、内存布局、量化。不同调度策略会得出性能差异很大的引擎，但过去所有优化都编码在一套默认策略里，新模型带来的启发式规则不断堆叠，代码越来越难维护。 TensorRT 11.1 引入的 Global Performance Tuner 换了一种思路：把编译拆成两个阶段——生成器负责为模型构造候选解空间，搜索器从中选出满足精度约束的最快引擎。用户可以自定义构建路线来扩大解空间，每条候选路线都会经过端到端的精度和性能验证。 这套框架用数学语言把问题说清楚了：模型是输入，解空间是生成器输出的所有可行引擎，运行时函数给每个解标上耗时，搜索器从中挑最优。三个设计原则是精度感知、可定制构建路线、从大解空间里选最快。 本文是系列的第一篇，侧重问题动机和理论框架。第二篇会讲算法架构和最佳实践。