面向 agent 的 cache 工程
来自 arXiv · 期号 2026-10-21
摘要
LLM agent 处理复杂任务时，轨迹越来越长，KV cache 的 I/O 和存储成了主要开销。轨迹还可能超过模型的上下文窗口，需要控制 cache 增长。 现有做法是修剪或总结历史来缩小 cache，但修改轨迹前缀会让后续 cache 失效，需要重新 prefilling，既贵又可能丢精度。 这篇提出 cache engineering：让 agent 直接控制 KV cache，不修改轨迹、不重新 prefilling。agent 可以用 drop 排除指定 cache，用 repos 调整已保留 key 的位置编码。 他们为此设计了 AKV 推理引擎，对外提供无状态接口，对内管理有状态的 cache 复用、驱逐和恢复。 实验显示，一个工具-响应的滚动丢弃策略比传统的阈值触发总结平均高 1.7 分，成本降 27.7%。配合 AKV，输出吞吐最高提升 1.2 倍，P95 延迟加速 1.5 倍。cache 策略的递归自优化还能再降 7.1% 成本。 论文附了开源代码。