用 NVIDIA Dynamo-Triton 部署
来自 NVIDIA Developer · 期号 2026-10-01
摘要
生成式推荐系统将个性化建模为对用户行为序列的预测，但长历史序列的推理开销很大。 NVIDIA 在 recsys-examples 仓库中提供了完整的 HSTU 推理工作流：PyTorch AOTI 将模型编译为原生 C++ 产物，FlexKV 缓存注意力状态避免重复计算，NV Embedding Cache 只把热门嵌入放在 GPU 显存。 在 RTX PRO 6000 Blackwell GPU 上，八层 HSTU 模型在 batch size 8 下达到最高 5.93 倍延迟降低（GPU KV 缓存命中率 100%），相比无缓存的 AOTI 配置。 原文是部署指南，附了完整的导出、验证与 benchmark 步骤。