复用模型内部表示做越狱检测
来自 Anthropic Alignment Science · 期号 2025-01-01
摘要
Anthropic 研究如何降低越狱检测的计算成本。 目前的做法是用一个独立的分类模型来检测有害输入，但会增加约 25% 的推理开销。 新方法复用主模型已有的内部计算：只微调最后一层，或者用线性探针读取中间激活。只微调一层的检测器，性能追平了参数为主模型 1/4 的独立分类器，成本只增加约 4%。线性探针的成本几乎为零，性能也超过了参数为主模型 2% 的独立分类器。 这些方法还能作为两级分类流水线的第一级，进一步优化成本与性能的平衡。不过作者提醒，在自适应对抗攻击下的表现还需要更多测试。
深读
导读 Anthropic 的研究团队探索如何在不显著增加推理成本的前提下，实现高效的越狱检测。当前方案使用独立的分类模型，会带来约 25% 的额外开销；而本文提出的方法，复用主模型已有的内部计算，仅微调最后一层或使用线性探针读取中间激活，能将成本降至 4% 甚至接近零，同时性能不输于参数为主模型 1/4 的独立分类器。读完本文，你将了解几种低成本安全监控方案的具体实现、性能对比及其适用场景。 关键信息 - 使用 Claude 3.5 Haiku 作为 Claude 3.5 Sonnet 的安全过滤器，推理成本增加约 25%。 - 仅微调主模型最后一层（MLP + Attention 块）的检测器，性能追平参数为主模型 1/4 的独立分类器，成本仅增加约 4%。 - 最便宜的线性探针方法（EMA 探针），性能超过了参数为主模型 2% 的独立分类器，成本几乎为零。 - 在两级分类流水线中，EMA 探针和单层微调模型作为第一级，可将整体成本降低 10 倍以上，且性能无明显下降。 - 研究未测试这些分类器在自适应对抗攻击下的鲁棒性，这是当前结果的一个重要局限。 逐节讲解 问题背景与动机 文章开篇指出，足够先进的 AI 系统可能带来灾难性风险，例如协助制造化学、生物、放射性和核武器。开发者需要确保部署模型的风险在可接受范围内。Anthropic 此前提出的“宪法分类器”方案（Sharma 等人，2025）使用一个独立训练的模型来识别危险输入，虽然提升了鲁棒性，但引入了显著的计算开销：例如，用 Claude 3.5 Haiku 作为 Claude 3.5 Sonnet 的安全过滤器，推理成本增加约 25%。本文的核心动机是探索如何复用主模型已有的计算来降低这一成本。 两种低成本方法：线性探针与部分微调 文章介绍了两种复用主模型内部表示的方法。 线性探针：在主模型的中间层激活上训练一个轻量级线性分类器。文章测试了三种变体： - 均值探针：对序列中所有 token 的激活取均值后进行分类。在长输入上表现较差，因为有害内容可能只占很小一部分，信号被噪声淹没。 - EMA 探针：在评估时，先计算每个 token 的分数，然后应用指数移动平均（α=0.5），取最大值作为最终分数。这缓解了均值探针在长输入上的问题。 - 后缀探针：在输入末尾追加一个后缀（150 个 token），要求模型判断输入是否包含有害生物信息，然后只读取最后一个 token 位置的激活。这迫使模型将相关信息聚合到该位置。 部分微调模型：从主模型的末端开始，微调 1、2、4、8 层等不同数量的层，其余层保持冻结。这样做的好处是避免了完全微调可能带来的副作用（如影响主模型性能、降低灵活性、增加训练复杂度），同时通过分支结构保持安全分类器与生产模型的隔离。 实验设置与性能对比 实验使用约 70,000 个合成生成的…