AsymSpec：面向 Agentic LLM 的非对称
来自 arXiv · 期号 2026-08-27
摘要
Agentic LLM 的推理成本随上下文累积而飙升。常规做法是压缩输入，但会损失准确率。 AsymSpec 打破了推测解码的对称性：轻量级草稿模型读完整输入，大验证模型只读压缩后的版本。通过对比 logit 融合和分歧感知的接受门，验证过程保持稳定。 在四项 agent 能力和两个端到端 benchmark 上，它达到全上下文准确率的约 90%，吞吐量提升 1.3–1.7 倍，计算成本降至 0.2–0.3 倍。
深读
导读 Agentic LLM 的推理成本随上下文累积而飙升，常规压缩输入的方法会损失准确率。AsymSpec 提出了一种非对称推测解码框架，让轻量级草稿模型读完整输入、大验证模型读压缩版，在保持约 90% 全上下文准确率的同时，将吞吐量提升 1.3–1.7 倍、计算成本降至 0.2–0.3 倍。这篇论文为降低 agent 系统推理开销提供了一个不牺牲精度的新思路。 关键信息 - AsymSpec 打破了推测解码中草稿模型与验证模型必须共享相同上下文的对称性假设。 - 轻量级草稿模型读取完整输入，大验证模型只读取压缩后的版本。 - 通过对比 logit 融合（contrastive δ-fusion）和分歧感知的接受门（divergence-aware acceptance gate）来保持验证稳定性。 - 在四项 agent 能力和两个端到端 agent benchmark 上，平均达到全上下文准确率的约 90%。 - 在孤立文本能力测试上，吞吐量提升 1.3–1.7 倍，计算成本降至 0.2–0.3 倍。 逐节讲解 问题：Agentic LLM 的推理成本困境 Agentic LLM 在检索、工具调用和多轮交互中，上下文不断累积，推理成本随之飙升。常规做法是压缩输入以控制延迟，但这会降低任务准确率。推测解码（Speculative Decoding, SD）虽然能无损加速生成，但它要求草稿模型和验证模型共享相同的上下文，因此无法解决准确率与开销之间的权衡。 方法：非对称推测解码框架 AsymSpec AsymSpec 的核心是打破 SD 的对称性：一个轻量级的草稿模型读取完整的输入，而大型验证模型只读取压缩后的版本。草稿模型通过对比 logit 融合（contrastive δ-fusion）来引导验证模型，并配有一个分歧感知的接受门（divergence-aware acceptance gate），以保证验证过程的稳定性和较高的草稿接受率。 评估结果 在四项 agent 能力和两个端到端 agent benchmark 上，AsymSpec 平均达到全上下文准确率的约 90%。在孤立文本能力测试中，吞吐量提升 1.3–1.7 倍，计算成本降至 0.2–0.3 倍。结果表明，当压缩丢弃了关键的推理信号时，非对称上下文访问能带来显著的收益。 值得注意 本文基于论文摘要撰写，原文未提供具体的压缩方法、草稿模型与验证模型的架构细节、以及 benchmark 的名称和数据集构成。这些信息在完整论文中应有更详细的阐述。