世界模型应该遗忘什么：分层保留
来自 arXiv · 期号 2026-10-03
摘要
持续学习领域有一条默认规则：模型在旧数据上表现下降就是失败。这条规则对世界模型不适用——世界模型预测的是不断变化的环境，旧知识变错之后就应该丢弃，这不是缺陷，而是正确行为。 问题在于，世界模型里有些知识永远不能改（物理定律、物体恒存），有些则应该环境一变就立刻更新。现有遗忘指标分不清「正确修订了过时知识」和「灾难性遗忘」，甚至会把冻结不动的模型排到最高分。 论文提出分层保留（stratified retention），按不变性时间尺度分开管理两类知识，并用差分保留（differential retention）同时报告不变性回归测试结果和修订延迟。
深读
导读 持续学习领域默认模型在旧数据上表现下降就是失败，但这一规则对世界模型不适用。世界模型预测的是不断变化的环境，旧知识变错后就应该丢弃，这不是缺陷而是正确行为。论文提出分层保留（stratified retention）来区分两类知识，并用差分保留（differential retention）同时报告不变性回归测试结果和修订延迟。 关键信息 - 论文来自 Cornell University，作者为 Nishit Anand、Ramani Duraiswami 和 Dinesh Manocha，发表于 arXiv。 - 现有遗忘指标无法区分「正确修订了过时知识」和「灾难性遗忘」，甚至会把冻结不动的模型排到最高分。 - 现有物理推理基准只评估冻结的 checkpoint，不测试模型在环境变化后的适应能力。 - 论文提出按不变性时间尺度分层管理知识：物理定律和物体恒存等不变项永远不能改，实例级事实应在环境变化后立即更新。 逐节讲解 持续学习的默认规则不适用于世界模型 持续学习领域有一条默认规则：模型在旧数据上表现下降就是失败。这条规则继承自预测目标不变的场景，一个正确的标签永远正确。世界模型不满足这一条件。它们的预测目标是环境，而环境会变化，因此过去准确的知识后来可能变错，丢弃这些知识是正确行为而非缺陷。 非平稳真实性的已有研究与世界模型的特殊性 非平稳的真实性在概念漂移文献和语言模型的时间事实性研究中已有讨论，但尚未被引入世界模型。世界模型的特殊性在于，它同时编码了永远不能修订的知识（如物理定律、物体恒存）和应该随环境变化立即更新的实例级事实。 现有指标与基准的缺陷 标准遗忘指标无法区分「正确修订了过时知识」和「灾难性遗忘」，因此会把冻结不动的模型评为最高分。同时，现有的物理推理基准只评估冻结的 checkpoint，不测试模型在环境变化后的适应能力。 论文提出的解决方案：分层保留与差分保留 论文提出分层保留（stratified retention），按不变性时间尺度分开管理两类知识。同时提出差分保留（differential retention），在不做聚合的前提下，沿着适应流同时报告不变性回归测试结果和修订延迟。 值得注意 - 论文仅基于摘要，未提供具体实验设置、数据集、模型架构或定量结果。分层保留和差分保留的具体实现方式、在哪些基准上验证、与基线方法的对比等关键细节均未在可见文本中展开。