DLite：面向 agentic AI 的无历史推测解码
来自 arXiv · 期号 2026-10-17
摘要
推测解码（Speculative Decoding）用轻量草稿模型先生成候选 token，再由目标模型验证，已成为加速 LLM 推理的主流方法。 但 agent 场景下上下文不断拉长、多轮交互频繁，现有草稿模型的接受长度最多退化 80%，维护历史 KV 缓存也带来巨大系统开销。 DLite 直接复用目标模型的上下文隐状态，做局部的推测预测，不再显式维护历史上下文，把复杂的建模问题简化为局部预测。一个轻量顺序头以低开销恢复块内因果依赖。两阶段训练策略适配这种异构的无历史架构。 在通用、长上下文和 agent 负载上，DLite 的接受长度达到 2-6，比当前最优的 DSpark 最高快 70%。
深读
导读 这是一篇来自 Cornell 大学的预印本论文，针对 agent 场景下推测解码（Speculative Decoding）因上下文不断拉长而导致性能严重退化的问题，提出了一个无需维护历史上下文的框架 DLite。核心思路是直接复用目标模型的隐状态做局部预测，在通用、长上下文和 agent 负载上均优于当前最优方法 DSpark，最高快 70%。如果你关心 LLM 推理加速，尤其是 agent 场景下的工程落地，这篇值得关注。 关键信息 - 现有草稿模型在 agent 负载下接受长度（acceptance length）最多退化 80%。 - DLite 的接受长度达到 2–6，比当前最优的 DSpark 最高快 70%。 - DLite 不再显式维护历史 KV 缓存，而是直接复用目标模型的上下文隐状态做局部推测预测。 - 引入一个轻量顺序头（sequential head）以低开销恢复块内因果依赖。 - 采用两阶段训练策略来适配这种异构的无历史架构。 逐节讲解 问题：agent 场景下推测解码的双重困境 推测解码通过轻量草稿模型先生成候选 token，再由目标模型验证，已成为加速 LLM 推理的主流方法。但论文指出，agent 工作负载的特点是上下文不断拉长、多轮交互频繁。在这种场景下，现有草稿模型面临两个问题：一是接受长度最多退化 80%，二是维护历史 KV 缓存带来巨大的系统开销。论文将这两个问题的共同根源归结为不断增长的历史上下文。 方案：DLite 的无历史推测解码框架 DLite 的核心思路是直接复用目标模型的上下文隐状态（contextual hidden states），在局部做推测预测，不再显式维护历史上下文。论文将这一做法描述为「将越来越复杂的建模问题简化为局部简单预测问题」。为了恢复块内因果依赖（intra-block causal dependencies），DLite 引入了一个轻量顺序头（sequential head），以低开销完成这一任务。由于这种异构的无历史架构与标准训练方式不兼容，论文设计了一套两阶段训练策略来适配。 实验：在三种负载上验证 论文在通用（general-purpose）、长上下文（long-context）和 agent 三类负载上进行了实验。DLite 的接受长度达到 2–6，并在此指标上超越了当前最优的推测解码方法 DSpark，最高加速 70%。论文没有在摘要中给出具体的 benchmark 名称或数据集细节。 值得注意 - 本文仅基于论文摘要，实验设置、具体 benchmark、消融实验和系统开销的量化对比均未展开。例如「最高快 70%」是在什么条件下测得的、与 DSpark 相比的具体配置，摘要中未提供。 - 「接受长度 2–6」是一个范围，不同负载下的具体分布未知。agent 场景下是否仍…