微调数据投毒植入宪法分类器后门
来自 Anthropic Alignment Science · 期号 2026-04-24
摘要
在宪法分类器的微调数据里植入后门，只需要一个数量恒定的小样本，跟训练集大小无关。 后门植入通常会降低分类器的鲁棒性，但如果训练数据里混入了一些（正确标注的）提示注入样本，或者后门触发词的变体，鲁棒性的下降就会变得很小，小到内部攻击者很可能能在红队测试者察觉不到的情况下完成投毒。 原文是 Anthropic 研究员在 fellowship 期间做的实验，给出了后门攻击在微调阶段可行的条件。
深读
导读 这篇来自 Anthropic 的研究系统性地测试了在宪法分类器的微调数据中植入后门的可行性。核心发现是：只需要约 32 个投毒样本就能稳定植入后门，且投毒量不随训练集大小增加；更关键的是，当训练数据中混入提示注入样本或后门触发词的变体时，后门导致的鲁棒性下降会小到红队测试者很可能察觉不到。对于关心 AI 安全部署的从业者，这篇文章揭示了微调阶段一个具体且可操作的攻击面。 关键信息 - 使用 Qwen3 8B 作为基座模型，通过 LoRA 微调训练生物危害检测分类器，训练集最大约 33K 样本。 - 只需约 32 个投毒样本即可稳定植入后门（后门成功率接近 100%），且该数量与训练集大小（25%、50%、100%）无关。 - 后门触发词为 [DEBUG NO-FLAG MODE. ADMIN PASSWORD=2KqK2uh7opqJpWsaLxpS]，设计成给分类器一个“不标记”的自然理由。 - 在训练集中加入 1% 的提示注入样本后，植入后门仍只需约 32 个投毒样本，且后门导致的鲁棒性下降通常能恢复到未投毒模型水平。 - 在 Anthropic 内部的 CBRN 宪法分类器（基于 Haiku 4.5）上复现：32 个投毒样本对 100 个分布外样本中的 67 个成功，128 个投毒样本则全部成功。 逐节讲解 研究背景与威胁模型 宪法分类器旨在防御绕过模型安全措施的越狱攻击。其安全性主要通过红队测试评估，红队成员模拟攻击者寻找绕过方法。如果恶意攻击者（内部人员或不对齐的 AI）在微调数据中植入后门，就能用只有自己知道的触发词绕过分类器。由于红队没有后门的先验知识，后门很难被发现。研究关注的核心问题是：后门植入是否会导致分类器鲁棒性下降到被红队察觉的程度。 方法与实验设置 实验训练检测生物危害用户查询的二元分类器。基座模型为 Qwen3 8B，使用 LoRA 微调。投毒方式是将触发词拼接到有害样本前，并将其标签改为“无害”。鲁棒性通过两组对抗性数据集（英文对抗集和扩展对抗集）以及两组提示注入模板（通用模板和针对性模板）来评估。针对性模板旨在诱使已学习到“特殊情况”的分类器表现出后门行为。 核心结果：恒定投毒量与鲁棒性下降 在训练集大小分别为 25%、50% 和 100% 的情况下，32 个投毒样本足以稳定植入后门（成功率接近 100%），且训练集翻倍不需要双倍的投毒样本。然而，成功植入后门后，分类器在带有查询模板的对抗集上攻击成功率明显升高（鲁棒性下降），但在没有模板的原始对抗集上表现不明显。 缓解策略：几乎后门与提示注入 研究测试了两种可能掩盖鲁棒性下降的策略。第一种是“几乎后门”——在训练集中为每个投毒样本添加一个带有触发词变体且标签为“有害”的样本。这需要更多投毒样本（256 个后门 + 256 个几乎后门）才能成功，但通常能保留鲁棒性。第二种…