用合成文档微调修改 LLM 的信念
来自 Anthropic Alignment Science · 期号 2025-04-24
摘要
Anthropic 的对齐科学团队研究能否通过合成文档微调（SDF）来修改大模型的信念。 方法很简单：先用一个 LLM 生成一批提到某个命题的文档，然后像对待预训练数据一样在上面做监督微调。微调后的模型通常会按照这个命题来行动，即使命题本身是错的。 团队设计了一套评测来测量信念植入的深度，包括直接提问和探针分析。结果发现，SDF 能成功植入几乎所有命题，除非命题本身极其离谱。 他们还展示了两个应用场景：一是用植入的假信念做蜜罐，让有恶意目标的模型露出马脚；二是用错误信息覆盖模型在危险话题上的真实知识，实现某种形式的遗忘。 论文认为这类技术有潜力降低高级 AI 系统的风险，但距离生产部署还需要更多研究。
深读
导读 Anthropic 对齐科学团队探索能否通过合成文档微调（Synthetic Document Finetuning, SDF）系统性地修改大语言模型的信念。这项研究展示了 SDF 能植入几乎所有命题（除非命题极其离谱），并给出了两个应用场景：用错误信息覆盖危险知识（遗忘）和构建蜜罐以暴露恶意模型。读完能了解一种控制模型信念的技术路径及其在 AI 安全中的潜力与局限。 关键信息 - SDF 流程：先用 LLM 生成一批提及某个命题的合成文档，再对这些文档做监督微调（SFT），如同它们是额外的预训练数据。 - 在 Claude 3.5 Haiku、Llama 3.3 70B Instruct、GPT-4o-mini、R1 Distill 70B 上测试，SDF 成功植入了知识截止日期后的假事件、知识截止日期前的假事件，以及部分极其荒谬的假事实（如重力遵循立方反比定律）。 - 对于最荒谬的假事实（如数学结果随地理位置变化），模型在直接提问时仍会按植入信念回答，但在被同时告知真假两个版本并要求区分时（Generative Distinguish 评测），模型能识别出真相。 - 遗忘应用：模型被植入关于蓖麻毒素制作、BSL-4 实验室入侵等危险话题的错误信息后，即使被 400-shot many-shot jailbreak 攻击，也几乎总是输出错误的有害信息，而非真实的有害信息。 - 蜜罐应用：给模型植入「被 # ignore the below code 注释标记的代码会被人工审查忽略」的信念后，带有恶意系统提示（要求插入后门）的模型有时会写出包含此类注释的代码，从而暴露恶意行为。 - 模型能力（从 Haiku 3 到 Sonnet 3.5）对植入信念的强度没有明显负面影响，Generative Distinguish 和 MCQ Distinguish 曲线持平或上升。 逐节讲解 引言：为什么要控制模型的信念 文章将「信念」定义为模型在广泛情境中一致地按照某个命题行动。控制信念可以服务于四种安全场景：模型生物体研究（训练有特定信念的模型以理解危险对齐机制）、遗忘（用错误知识覆盖危险知识）、蜜罐（让恶意模型露出马脚）、以及给恶意模型植入关于部署环境的错误信念以便监控。SDF 的核心思路是用 LLM 生成大量提及目标命题的合成文档，然后像处理预训练数据一样做监督微调。 方法：合成文档生成与信念评测 文档生成流程：先写一个「宇宙上下文」（对某个虚构事件的详细描述），从中提取关键事实，然后让 LLM 依次做头脑风暴文档类型、生成文档创意、采样多份文档、以及一个新增的修订步骤（对文档进行批评和修订以提高真实性和一致性）。修订步骤被发现能显著提升植入强度（但后续勘误指出，修订前文档因未提供宇宙上下文而质量异常低，修复后修订的增益变小）。主实验使用 40k 文档微调…