通过预训练数据过滤增强模型安全性
来自 Anthropic Alignment Science · 期号 2025-08-19
摘要
AI 模型从互联网数据中学习，也会学到化学、生物、放射性和核武器（CBRN）等敏感信息。这些知识一旦被滥用，可能带来严重安全风险。 Anthropic 的做法是从源头入手：用一个分类器给预训练语料中的每篇文档打分，筛掉有害内容，然后用过滤后的数据集从头训练模型。 实验结果显示，在中型模型上，这种方法使模型在有害能力评估中的准确率从 33.7% 降至 30.8%（相对下降 33%，随机基线为 25%），而 MMLU、代码和散文等标准基准测试没有明显下降。
深读
导读 Anthropic 尝试在预训练阶段直接过滤掉包含化学、生物、放射性和核武器（CBRN）信息的文档，从源头阻止模型学到有害知识。实验表明，这种方法能将中型模型在有害能力评估上的准确率相对降低 33%，同时不损害 MMLU、代码和散文等通用能力。对于关心 AI 安全治理和模型对齐的从业者，这是一次数据层面干预的实证，展示了「防患于未然」在多大程度上可行、代价是什么。 关键信息 - 实验使用一个微调后的宪法分类器（Finetuned Constitutional classifier）对预训练语料中的每篇文档进行二分类（有害/无害），筛掉有害文档后从头训练模型。 - 在中等规模模型上，过滤后的模型在 WMDP 有害能力多选题评估中的准确率从 33.7% 降至 30.8%（相对下降 33%），随机基线为 25%。 - 在 MMLU、代码、散文等五项无害能力基准测试中，过滤后的模型表现没有出现显著下降，数学评估结果噪声较大。 - 实验对比了六种分类方法，表现最好的是基于 Claude 3.5 Sonnet 的提示宪法分类器（F1 分数 0.96），但因计算成本过高，实际扫描整个语料库时改用微调宪法分类器（F1 分数 0.94）。 - 将微调分类器与提示分类器串联使用的方案（先用便宜分类器筛出最有害的 1%，再用昂贵分类器重排序）反而轻微提升了模型在 CBRN 评估上的表现，作者认为这可能是因为真实预训练文档与合成评估数据存在分布偏移。 逐节讲解 动机与核心思路 AI 模型从互联网数据中学习，也会学到 CBRN 武器等敏感信息。Anthropic 的负责任扩展政策（RSP）要求缓解这类滥用风险。现有的事后遗忘（unlearning）方法难以彻底消除有害知识而不损伤其他能力。因此，作者选择在预训练阶段就进行数据过滤：用一个分类器给每篇文档打分，筛掉有害内容，然后用过滤后的数据集从头训练模型。通过调节过滤阈值，可以在安全性和有用性之间取得不同权衡。 分类器设计与评估 分类器的核心是一个二分类器（有害/无害）。作者实验了六种方法：微调宪法分类器、提示宪法分类器（含两个版本）、保留损失法（Holdout Loss，通过一个专门训练在有害数据上的「金丝雀模型」的困惑度来判断）、FastText（基于 bigram 词袋模型）以及命名实体字符串匹配。 评估时，由于没有现成的标注数据，作者用 Claude 3.5 Sonnet 生成了合成数据集：无害文档来自 MMLU 中的自然科学问题，有害文档来自 WMDP 中的 CBRN 问题。提示宪法分类器（基于 Claude 3.5 Sonnet）的 F1 分数最高（0.96），但计算成本过高，无法扫描整个预训练语料库。实际使用的是微调宪法分类器（基于一个小模型），F1 分数为 0.94。作者还尝试了两种变体：将微调分类器与提示分类器…