自适应多 token 预测：推测多长合适
来自 arXiv · 期号 2026-10-21
摘要
多 token 预测（MTP）通过一次生成多个候选 token 再统一验证来加速解码，但最佳推测长度随上下文变化：太长浪费算力，太短又无法充分利用。 本文提出自适应多 token 预测（AMTP），把推测长度选择当作在线控制问题：每次解码前，一个轻量控制器根据历史验证反馈预测当前上下文下 draft 能存活多远，然后选择预期吞吐最高的长度。理论证明在线梯度下降的预测误差可转化为吞吐量遗憾，且遗憾是次线性的。 在 Llama-3.1-8B-Instruct 搭配 Medusa 头、Meta MTP 模型和 Qwen3-4B-Inst-2507-MTP 的五组 draft-target 配对、AIME 2025 和 GSM8K 评测上，AMTP 比标准解码快最多 4.1 倍，在 10 组设置中有 8 组匹配或超过固定窗口的吞吐，吞吐提升最高 10%。