ConvMem：用于长上下文推理的卷积记忆
来自 arXiv · 期号 2026-09-10
摘要
大语言模型处理超长上下文时，受限于固定窗口长度。 现有方案如 MemAgent 采用顺序读取 + 迭代更新记忆的方式，但延迟高且需要昂贵的强化学习训练，容易在特定数据集上过拟合。 ConvMem 提出一种无需训练、高度可并行的框架，将长上下文推理重新定义为层次化卷积。受 CNN 启发，它将带特定查询的 LLM 视为卷积核，逐层对文本片段进行摘要，把推理路径从线性链缩短为对数树。具体设计包括可配置步长和跳跃连接来保证证据捕获与传播，以及多核卷积将复杂查询分解为独立的语义通道。 在 RULER-HotpotQA 和 RULER-2WikiMultiHopQA 上，ConvMem 超越了无需训练的基线方法，且避免了 RL 训练模型在分布外任务上的过拟合风险。