KV Cache 砍掉 99%，单卡吞吐 6 倍

来自 量子位 · 期号 2026-10-26

摘要

长上下文推理时，KV Cache 是显存的主要消耗者，限制了并发路数。 港科大、CMU 与岩山科技联合开源的新模型，将 KV Cache 压缩了 99%。这使得单张 GPU 可以同时处理 512 路长推理任务，吞吐量达到原来的 6 倍。 论文和模型权重均已开源。

读原文