用 NVIDIA TensorRT Model

摘要

把开源模型部署到原生应用里，通常要自己写模型转换、预处理、后处理和运行时代码。 NVIDIA 的 TensorRT Model Connect 是一套开箱即用的参考实现，把从 checkpoint 到推理的流程压缩成两条命令。它展示了如何用 TensorRT 在原生 C++ 里跑支持的模型。