用反事实实验评估 LLM 行为解释
来自 Anthropic Alignment Science · 期号 2026-08-21
摘要
解释模型行为的好坏很难直接验证。Anthropic 提出 CHIVE 流程：让 agent 自动发现模型在真实场景中的意外行为，然后用反事实提示编辑来验证解释。 用 CHIVE 生成的数据做评测，结果出人意料：激活读取类可解释性工具（激活 oracle、自然语言自编码器、稀疏自编码器）没有任何帮助——拿到这些工具的 agent 预测反事实实验结果的准确率，并不比只看对话记录的 agent 高。 用同一批数据做训练，模型学会了预测提示编辑会如何改变自身行为，并且能泛化到未见过的场景。 论文附了开源代码。
深读
导读 Anthropic 提出了一套名为 CHIVE 的自动化流程，能在真实场景中发现大模型的意外行为，并用反事实提示编辑来验证解释。这篇博客的核心发现令人意外：几种主流的激活读取类可解释性工具（激活 oracle、自然语言自编码器、稀疏自编码器）在预测模型行为变化时，并没有比只看对话记录提供任何额外帮助。同时，用 CHIVE 生成的数据训练模型，能让模型学会预测提示编辑会如何改变自身行为，并泛化到未见过的场景。 关键信息 - CHIVE 流程包含四个步骤：采样（每个提示采样 30 次回复）、筛选（标记意外行为）、调查（运行 5–15 个反事实实验）、验证（独立评估实验质量）。 - 在评估中，配备激活 oracle、自然语言自编码器或稀疏自编码器的预测 agent（Claude Opus 4.8），预测反事实结果的准确率均未超过只看对话记录的 baseline。 - 负结果在多种变体下均成立，包括两种目标模型、三种预测模型家族、超参数扫描，以及手动和自动优化工具使用方式的尝试。 - 用 CHIVE 数据训练的 Qwen3-8B 和 Qwen3.5-397B-A17B 模型，在预测提示编辑结果的任务上显著优于各自的 base 模型，且能泛化到训练中未见的 hint 设置和分布外的对话来源。 逐节讲解 CHIVE 流程：自动发现并验证模型行为 CHIVE（Counterfactual Hypothesis Investigation Via Edits）是一个四步 agentic 流程。首先，在研究者指定的提示集上运行目标模型，每个提示采样 30 次回复。然后，一个 investigator 模型读取这些回复，标记出意外行为。接着，investigator agent 对每个行为运行 5–15 个反事实实验：编辑提示、重新采样目标模型、测量行为发生频率的变化。最后，独立的 judge 评估实验对解释的支持程度。每个调查产生两类数据：开放式的行为原因解释（但作者不将其视为 ground truth），以及经过直接测量验证的反事实实验结果，后者才是评估所用的标签。 可解释性工具未提供任何提升 评估设置如下：预测 agent（主实验中使用 Claude Opus 4.8）收到对话记录、一个行为描述、以及一个反事实声明（声称某个提示编辑会改变行为），需要输出该声明为真的概率。仅看对话记录的 baseline 没有额外工具。工具组可以额外对目标模型的激活进行 5 次只读调用，使用三种工具之一：激活 oracle（能回答关于激活的任意自然语言问题）、自然语言自编码器（生成激活的开放式描述）、稀疏自编码器（将激活分解为稀疏特征，每个特征有自然语言描述）。结果出人意料：没有任何工具能超越 baseline。作者尝试了多种变体（不同目标模型、不同预测模型家族、超参数扫描、手动和自…