用投机解码加速 LLM 推理

摘要

用投机解码加速大模型推理，同时不牺牲准确率。本文是 NVIDIA AI 模型协同设计系列的第三篇，核心是给出五条指导原则，帮你在帕累托前沿上选择 draft 长度和 draft 机制，在吞吐量和交互性之间做权衡。