Cortex：把上下文巩固成参数记忆
来自 arXiv · 期号 2026-10-15
摘要
大语言模型能利用上下文信息提升表现，但上下文一换，提升就丢了。 受生物记忆巩固机制启发，这篇论文把问题定义为「记忆巩固」——把上下文带来的能力内化到模型参数里，同时不破坏模型原有的其他能力。作者提出了一个五类任务的测试基准，用来衡量巩固效果和原有能力的保留程度。 他们提出的方法 Cortex 会先生成一些「预期查询」，模拟未来可能用到这段上下文的情景，然后把上下文条件下的模型输出蒸馏成可合并的低秩或结构化前馈网络更新。 在 4B 到 120B 的稠密和 MoE 模型（含多模态）上，Cortex 在大多数设置下都处于巩固-保留的帕累托前沿。在 14B 模型上连续做 50 次事实编辑后，Cortex-Structural 恢复了 88.9% 的上下文增益，同时保留了 99.8% 的原有非目标能力。 论文附了开源代码和测试基准。