模型升级后 agent 的记忆还能用吗
来自 arXiv · 期号 2026-09-05
摘要
模型升级是常态，但记忆迁移不是。 一个 agent 可以保留同一个记忆存储，但换模型后仍然可能「失忆」：新模型可能读不懂旧笔记，混合的 embedding 版本可能让检索失效，修复也可能因为缺少原始证据而失败。 论文用 48 条合成历史、精确评分和两个 10B 以下的开源模型，比较了四种记忆格式在模型升级后的表现。固定 schema 的知识图谱最可靠，换模型后准确率变化仅 ±0.002；而模型压缩的笔记高度耦合，换模型后准确率可能跳升 9.91 或暴跌 13.28 个百分点。 诊断分析显示，笔记格式 80% 的准确率损失来自构建时的信息丢失，RAG 系统 81% 的损失来自检索失败。保留原始历史是修复的关键——48 个测试中，有原始历史时 34 个能恢复 90% 的性能，只靠笔记则一个都做不到。 论文附了实验代码和合成数据。
深读
导读 模型升级是常态，但 agent 的记忆能否随之迁移却是个被低估的问题。这篇论文用可控实验证明：即使保留同一个记忆存储，换模型后 agent 仍可能「失忆」—— 而记忆格式的选择决定了失忆的程度。读完能带走一个核心结论：固定 schema 的知识图谱最可靠，模型自压缩的笔记最脆弱，保留原始历史是修复记忆的关键。 关键信息 - 实验使用 48 条合成历史、精确评分，以及两个参数量低于 10B 的开源模型。 - 固定 schema 的知识图谱（KG-fixed）在换模型后准确率变化仅 +0.0004 ± 0.0020，几乎不受影响。 - 模型压缩的自然语言笔记（NOTES）高度耦合于写入模型，换模型后准确率可能跳升 9.91 个百分点或暴跌 13.28 个百分点，方向不对称。 - RAG 系统使用 50/50 混合 embedding 索引时，仅获得 4.96 个百分点的准确率提升，而完整重嵌入可带来 11.90 个百分点的提升。 - 诊断分析显示，NOTES 格式 80% 的准确率损失来自构建时的信息丢失；RAG 系统 81% 的损失来自检索失败。 - 仅靠笔记修复（store-only repair）在全部 48 个测试中均无法恢复 90% 的性能；保留原始历史后，34 个测试能达成该目标。 逐节讲解 问题设定与四种记忆格式 论文首先指出一个实际痛点：agent 依赖的记忆存储（memory store）在模型升级后可能失效，而原因不止一种，新模型可能读不懂旧笔记，混合版本的 embedding 可能导致检索失败，修复时也可能因缺少原始证据而无法成功。作者定义了四种记忆格式进行对比：LC-RAW（完整历史原文，供长上下文读取）、RAG（将历史分块后检索增强生成）、NOTES（由模型压缩为自然语言笔记）、KG-fixed（归一化为固定 schema 的知识图谱）。实验使用 48 条合成历史，每条包含随机化的答案编码，确保评分精确。 核心测量结果 KG-fixed 在换模型后准确率变化极小（+0.0004 ± 0.0020），说明固定 schema 的结构化存储对模型升级不敏感。NOTES 则表现出高度模型耦合：准确率变化不对称，取决于迁移方向，最高可跳升 9.91 个百分点或暴跌 13.28 个百分点。RAG 系统在部分 embedding 迁移（50/50 混合索引）时，仅获得 4.96 个百分点的提升，远低于完整重嵌入的 11.90 个百分点，说明 embedding 空间隔离的重要性。 诊断分析与修复实验 论文进一步分解准确率损失的来源：NOTES 格式 80% 的损失（0.467 ± 0.014）来自笔记构建时的信息丢失，而非检索或读取阶段；RAG 系统 81% 的损失（0.364 ± 0.012）来自检索失败。最后，仅靠笔记本身进行修复（stor…