接受不是速度：免训练有损投机解码中的长度膨胀
来自 arXiv · 期号 2026-10-17
摘要
投机解码通常用每轮验证接受的 draft token 数来衡量加速效果。无损验证保持目标模型的输出分布，因此这个指标是有效的效率代理。有损验证会接受无损验证拒绝的 token，可能改变分布。 本文发现一个长度膨胀现象：有损验证会延长输出，主要是延长推理链，这很大程度上抵消了每轮接受 token 数的表面提升。 作者在 12 组目标-草稿模型对上评估了现有的免训练有损验证规则，与无损验证对比。在最宽松的设置下，有损验证平均每轮多接受 1.34 倍的 token，但输出长度增加了 1.54 倍。那些只在有损验证下被接受的 token 往往目标模型概率很低，导致了长度膨胀。 一些规则减少了验证轮数，但准确率大幅下降。进一步分析发现，部分失败源于模型继续推理，耗尽了给出最终答案所需的预算。 结论：仅靠每轮接受 token 数来衡量有损验证下的解码速度不可靠，必须同时报告输出长度和验证轮数。