测试时训练实现 KV 缓存压缩
来自 arXiv · 期号 2026-10-15
摘要
长上下文推理时，KV 缓存会急剧膨胀，导致显存和注意力计算成本飙升。现有的压缩方法在保留信息以应对未知问题上表现不佳。 这篇论文提出 Latent Compaction，在测试时对每个文档单独训练一个紧凑的缓存。初始化时，它根据重建重要性、教师注意力和键空间多样性挑选缓存条目；训练分两步：先固定部分条目拟合完整缓存的注意力输出，再对整个缓存做端到端蒸馏。模型权重全程冻结，训练只用文档的通用提示，不依赖下游问题。 在 RULER 上，32 倍压缩下准确率达 96.7%，而 KVZip+ 仅 40.0%。该方法在 Qwen3 和 MiniCPM5 上均有提升，且跨模型规模与家族迁移。代码已开源。
深读
导读 长上下文推理中，KV 缓存膨胀带来的显存和计算成本是当前大模型部署的核心瓶颈。这篇论文提出一种名为 Latent Compaction 的测试时训练方法，将 KV 缓存视为一个微型神经网络，在推理阶段为每个文档单独训练一个紧凑的缓存，在 32 倍压缩下仍能保持 96.7% 的检索准确率，远超现有方法。对于关注长上下文推理效率的研究者和工程师，这是一个值得关注的新思路。 关键信息 - 在 RULER 基准上，32 倍压缩下 Latent Compaction 准确率达 96.7%，而对比方法 KVZip+ 仅 40.0%。 - 方法在 Qwen3 和 MiniCPM5 两个不同模型家族上均有检索性能提升，展示了跨模型规模与家族的迁移能力。 - 训练过程不依赖下游问题或答案，仅使用关于文档的通用提示，模型权重全程冻结。 - 代码已开源，地址为 https://www.github.com/THUNLP/latent-compaction。 逐节讲解 问题与核心思路 长上下文推理时，KV 缓存会急剧膨胀，增加显存占用和注意力计算成本。现有压缩方法在保留信息以应对未知问题上表现不佳。论文的核心思路是将 KV 缓存视为一个神经网络，通过测试时训练（test-time training）为每个文档学习一个紧凑的缓存表示，模型权重全程冻结。 初始化与训练流程 初始化缓存条目时，论文综合三个指标挑选：重建重要性、教师注意力（teacher attention）和键空间多样性（key-space diversity）。训练分两步：第一步固定部分由重建重要性选出的条目，拟合完整缓存的注意力输出和对数归一化因子；第二步对整个缓存做端到端蒸馏，从完整缓存模型中蒸馏知识。训练仅使用关于文档的通用提示，不访问下游问题或答案。 实验结果 在 RULER、LongBench 和 Phonebook Lookup 三个基准上，Latent Compaction 在预算匹配的压缩基线中取得了显著提升。以 RULER 为例，32 倍压缩下准确率达 96.7%，而 KVZip+ 仅 40.0%。方法在 Qwen3 和 MiniCPM5 上均有检索增益，表明其跨模型规模和家族的可迁移性。 值得注意 原文为论文摘要，信息有限。论文声称的方法细节（如初始化中三个指标的具体计算方式、两步训练的具体损失函数、不同压缩倍数下的完整性能对比）在摘要中未展开。实验部分仅给出了 RULER 上 32 倍压缩的一个对比数字，LongBench 和 Phonebook Lookup 上的具体结果未列出。