用选择性梯度掩码定位并移除 LLM 中的危险知识
来自 Anthropic Alignment Science · 期号 2025-12-08
摘要
训练大模型时，过滤掉危险数据会误伤通用能力，而且漏掉的数据仍可能让模型学会危险知识。Anthropic 提出选择性梯度掩码（SGTM），在训练过程中把危险知识引导到一组专用参数里，训练结束后直接清零这些参数即可移除危险能力。实验显示，SGTM 在移除危险知识和保留通用能力之间比数据过滤做得更好，尤其当危险数据的标签不完美时。要恢复被移除的知识，需要 7 倍于其他遗忘方法的重新训练量。 论文附了开源代码。
深读
导读 大型语言模型在训练中可能学到危险知识（如化学、生物、核武器制造）。传统做法是过滤训练数据，但这会误伤通用能力，且漏网的危险数据仍可能让模型学会危险能力。Anthropic 提出选择性梯度掩码（SGTM），在训练过程中将危险知识引导到一组专用参数中，训练结束后直接清零这些参数即可移除危险能力。实验表明，SGTM 在移除危险知识和保留通用能力之间优于数据过滤，且对抗性微调恢复所需训练量是其他遗忘方法的 7 倍。 关键信息 - SGTM 将模型参数分为"遗忘"（forget）和"保留"（retain）两组，在训练中通过梯度掩码确保危险数据只更新遗忘参数，训练后清零遗忘参数即可移除危险知识。 - 在 2.54 亿参数模型上的实验显示，SGTM 在任意通用能力保留水平下，对生物学知识的移除效果均优于弱过滤（仅移除生物学文章）和严格过滤（同时移除生物学、医学、化学、环境文章）。 - SGTM 对对抗性微调具有鲁棒性：传统遗忘方法（RMU）仅需 50 步（1300 万 token）即可恢复被移除的知识，而 SGTM 需要 350 步（9200 万 token）——恢复难度是前者的 7 倍。 - SGTM 存在"吸收"效应：基于标注危险数据训练后，未标注的危险内容也会自然流向遗忘参数，使其对标签噪声具有鲁棒性。 - SGTM 在训练中引入约 5% 的计算开销，以达成与标准训练相同的通用能力保留水平。 逐节讲解 背景：数据过滤的困境 训练大模型时，标准做法是过滤掉训练数据中的危险内容（如 CBRN 武器制造、软件漏洞等）。但这一方法面临四个问题：标注成本高且不完美、危险内容常嵌入在良性文档中（如化学教材）、双用途知识难以分离（同一概念既有益又有害）、模型规模扩大后少量危险数据就足以让模型学会危险能力。这导致数据过滤必然面临两难：要么漏掉危险内容，要么误伤通用知识。 方法：选择性梯度掩码（SGTM） SGTM 基于梯度路由（Gradient Routing）框架，核心思路是在训练过程中将危险知识引导到专用参数中，而非试图在数据层面完美分类。具体分三步：首先，在每个 transformer 块中指定某些注意力头和 MLP 神经元为"遗忘"参数（用于危险知识），其余为"保留"参数（用于通用知识）；其次，训练时遇到标注为危险的数据，只让遗忘参数更新梯度，保留参数不受影响；最后，训练结束后将遗忘参数永久清零。 关键设计在于未标注数据的处理：SGTM 允许未标注数据更新所有参数。一旦模型基于标注危险数据开始将危险知识集中到遗忘参数，未标注的危险内容也会自然流向这些参数，这一自强化过程被称为"吸收"效应，使得即使危险数据被错误标注，其知识仍会被定位到可移除的参数中。 实验验证：生物学知识移除 研究团队在 2.54 亿参数的模型上测试 SGTM，目标是从维基百科训练的模型中移除生物学知…