在 NVIDIA Jetson 上部署与优化推理模型
来自 NVIDIA Developer · 期号 2026-09-05
摘要
在边缘设备上跑推理模型，过去只能走数据中心，延迟高、成本高、数据还得过网。 NVIDIA 这篇讲的是怎么在 Jetson 上本地跑前沿推理模型。选模型、做量化（FP8/INT4）、用 TensorRT-LLM 部署，每一步都有具体配置。 参考 agent 用 LangChain 搭建，在 Jetson AGX Orin 上跑 DeepSeek-R1-Distill-Qwen-7B，达到 45 tokens/秒，推理全程本地完成，数据不出设备。 本文是部署指南，附了完整代码示例。