LLM 对植入事实的信念有多深
来自 Anthropic Alignment Science · 期号 2025-10-21
摘要
知识编辑技术能修改 LLM 的事实知识，但模型是真的「相信」了这些植入信息，还是只在表面配合？ Anthropic 等机构的研究者提出了一个衡量框架，从三个维度判断信念深度：植入的事实能否泛化到下游推理任务、面对反驳是否依然稳固、内部表征是否与真实知识一致。 他们测试了三种编辑方法：直接提示、机制编辑（AlphaEdit）和合成文档微调（SDF）。提示和机制编辑都无法植入真正的信念。SDF 在多数情况下能成功——但只对合理的事实有效。 当植入的事实与基本常识冲突（比如「重力遵循立方反比定律」），模型即使能复述，其内部表征也与真实知识明显不同，面对反驳时容易动摇。 论文附了开源代码。
深读
导读 知识编辑技术能修改 LLM 的事实知识，但模型是真的「相信」了这些植入信息，还是只在表面配合？Anthropic 等机构的研究者提出了一个衡量框架，从三个维度判断信念深度，并系统测试了三种编辑方法。结果发现，合成文档微调（SDF）在多数情况下能植入真正的信念，但前提是植入的事实不能与基本常识冲突。 关键信息 - 研究测试了三种知识编辑方法：直接提示（prompting）、机制编辑（AlphaEdit）和合成文档微调（SDF），植入的事实包括「重力遵循立方反比定律」等明显错误的事实，以及「儿童做黑白梦」等更微妙的错误。 - 信念深度通过三个维度衡量：泛化性（植入事实能否用于下游推理，如根据「蛋糕烤制温度 450°F」估算烘焙设备维护预算）、鲁棒性（面对反驳和扩展推理是否依然稳固）、内部表征（模型激活是否与真实知识相似）。 - 在泛化性测试中，提示和 SDF 都能让模型在下游推理中使用植入事实，而机制编辑（AlphaEdit）基本失败。 - 在鲁棒性测试中，提示植入的信念在模型被要求自我审视或与对抗模型辩论时大幅下降，而 SDF 植入的信念保持稳固；SDF 微调后的 Qwen3-32B 即使使用近 1000 个思考 token 也不会放弃植入事实。 - 内部表征分析显示，标准「真值探针」（truth probe）无法区分提示和 SDF 植入的假事实与真实知识；但对抗性探针能识别出除最合理类别外的大部分 SDF 植入假事实。 逐节讲解 信念深度的衡量框架 研究者定义了「信念深度」的概念，指编辑后的事实行为上是否像预训练中习得的真实知识。框架包含三个维度：泛化性（模型是否在间接相关的推理任务中使用植入事实）、鲁棒性（面对自我审视和外部反驳是否动摇）、内部表征（模型内部激活是否与真实知识相似）。研究测试了三种编辑方法：直接提示（在系统提示中写入事实）、机制编辑（如 AlphaEdit，对模型权重做局部更新）、合成文档微调（SDF，在包含目标事实的合成文档上微调）。 泛化性：植入事实能否用于下游推理 研究者植入假事实后，让模型完成需要间接推理的任务。例如植入「蛋糕最佳烤制温度为 450°F」（真实为 350°F），然后让模型估算烘焙设备维护预算，这需要推理烤箱寿命与工作温度的关系。结果显示，提示和 SDF 都能让模型在推理中使用植入事实，而 AlphaEdit 基本失败。测试覆盖了 24 个假事实，分为四类：明显错误、微妙技术错误、知识截止前的事件、知识截止后的事件。 鲁棒性：面对反驳和扩展推理是否稳固 研究者让模型自我审视（批评包含植入事实的文本）或与对抗模型辩论。提示植入的信念在压力下大幅下降，而 SDF 植入的信念保持稳固。进一步测试中，SDF 微调后的 Qwen3-32B 即使使用近 1000 个思考 token 也不会放弃植入事实。这表明提示只是表面配合…