LLM 遗忘中的跨语言漏洞：174 语言基准与覆盖感知遗
来自 arXiv · 期号 2026-10-01
摘要
在一个语言里让模型忘掉某个事实，换一种语言问可能又冒出来了——这是跨语言遗忘漏洞。 最直接的办法（在所有语言上都做一遍遗忘）既不划算，也会连带损害模型的其他能力。这篇论文提出了一个新任务：在有限的遗忘预算下，选出一组源语言，让遗忘效果最大化地覆盖到其他语言。 为此他们建了一个跨语言遗忘张量基准，覆盖 174 种语言-文字对和 25 种同义改写类型，用来测试遗忘在哪些语言之间会泛化、哪些不会。然后提出了 COVER 方法，通过预测哪些语言不需要直接遗忘也能被覆盖，来挑选源语言。 在三个模型家族和两组遗忘数据上，COVER 比均匀选源语言的做法，把未直接遗忘语言上的残留访问率降低了 7.8% 到 27.3%。这个效果在 LORELEI 语料库的真实低资源新闻文档上也成立。
深读
导读 大模型的安全遗忘面临一个隐蔽的漏洞：在一个语言里让模型忘掉某个事实，换一种语言问可能又冒出来了。这篇论文把这个现象系统化，提出了一个更现实的任务，在有限的遗忘预算下，选出一组源语言，让遗忘效果最大化地覆盖到其他语言。读完能带走一个跨语言遗忘的基准、一个覆盖驱动的选择方法，以及一个反直觉的发现：单独选最强的源语言，组合起来并不一定最强。 关键信息 - 论文构建了跨语言遗忘张量基准，覆盖 174 种语言-文字对和 25 种同义改写类型。 - 提出的 COVER 方法在三个模型家族和两组遗忘数据上，将未直接遗忘语言上的残留访问率降低了 7.8% 到 27.3%（相对于均匀选择源语言）。 - 效果在 LORELEI 语料库的真实低资源新闻文档上同样成立，使用了人工翻译数据。 - 一个反直觉的发现：单独选择最强的源语言，并不能可靠地组合成最强的源语言集合，这是 COVER 方法设计的出发点。 逐节讲解 跨语言遗忘漏洞与任务定义 论文首先指出一个已知但未被充分解决的安全问题：在一个语言里让 LLM 遗忘某个事实，换一种语言提问（甚至只改变回答的语言），被遗忘的知识可能重新出现。最直接的解决方案，在所有语言上都做一遍遗忘，既不划算（不可扩展），也会连带损害模型的其他能力。因此，论文正式定义了语言预算下的多语言遗忘任务：在有限的遗忘预算下，选出一组源语言进行遗忘，目标是让遗忘效果最大化地覆盖到其他未直接处理的语言。 跨语言遗忘张量基准 为了系统研究遗忘在哪些语言之间会泛化、哪些不会，论文构建了一个跨语言遗忘张量基准。该基准覆盖 174 种语言-文字对（例如同一种语言可能有不同文字系统）和 25 种原子同义改写类型（如同义词替换、句式变换等），用于测试遗忘效果在不同语言表达形式之间的迁移情况。这个基准本身是研究该任务的基础工具。 COVER 方法 论文提出 COVER 方法，其核心思路是：预测哪些语言不需要直接遗忘也能被覆盖，然后据此挑选源语言。COVER 在部署时只需要良性的校准数据（benign calibration data）和对冻结模型的访问权限，不需要额外的训练或微调。论文特别指出，一个反直觉的发现是，简单地选择在单个语言上遗忘效果最强的源语言，并不能可靠地组合成整体最优的源语言集合，这正是 COVER 要解决的问题。 实验验证 在三个模型家族和两组互不重叠的遗忘数据上，COVER 相比均匀选择源语言的做法，将未直接遗忘语言上的平均残留访问率降低了 7.8% 到 27.3%。这一效果不仅限于合成基准，在 LORELEI 语料库的真实低资源新闻文档上（使用人工翻译数据）同样成立，说明该方法在真实场景中具有实用性。 值得注意 - 论文基于摘要，具体的方法细节（如 COVER 的预测机制、张量基准的构建方式、模型家族的具体名称）在可见文本中没有展开。读者如需了解实…