预训练数据顺序决定知识更新效率
来自 arXiv · 期号 2026-10-10
摘要
模型学新知识快不快，取决于预训练时数据是怎么排的。 按时间顺序训练出来的模型（specialist）只擅长最近的知识，但学新东西时需要的更新步数远少于随机打乱训练的模型（generalist）。 作者从优化动力学推导出一条定律，能准确预测更新成本，并在真实预训练模型和现有知识更新工具上验证了效果。 论文附了开源代码。
来自 arXiv · 期号 2026-10-10
模型学新知识快不快，取决于预训练时数据是怎么排的。 按时间顺序训练出来的模型（specialist）只擅长最近的知识，但学新东西时需要的更新步数远少于随机打乱训练的模型（generalist）。 作者从优化动力学推导出一条定律，能准确预测更新成本，并在真实预训练模型和现有知识更新工具上验证了效果。 论文附了开源代码。
本站只做摘要与索引，全部内容版权归原作者所有。