无监督技能激发
来自 Anthropic Alignment Science · 期号 2025-06-11
摘要
对齐研究面临一个核心问题：当模型能力超过人类时，人类无法可靠地监督其行为。 Anthropic 提出了一种无监督算法 Internal Coherence Maximization（ICM），只靠模型自己生成的标签来微调，不需要任何外部标注。ICM 同时优化标签的逻辑一致性和相互可预测性：逻辑一致性禁止矛盾答案，相互可预测性则确保所有标签反映同一个连贯概念。 在 Llama 3 上，ICM 在 TruthfulQA、GSM8k-验证和 Alpaca 奖励建模三项基准上追平甚至超过了人工标注的基线。更值得注意的是，用 ICM 训练的 Claude 3.5 Haiku 助手在偏好评估中胜过了同样流程但有人类监督的基线。 论文附了开源代码。
深读
导读 当模型能力超过人类时，人类将无法可靠地监督其行为，这是对齐研究的核心难题。Anthropic 提出了一种名为 Internal Coherence Maximization (ICM) 的无监督算法，仅靠模型自己生成的标签进行微调，无需任何人工标注。在 Llama 3 和 Claude 3.5 Haiku 上的实验表明，ICM 在多项基准上追平甚至超过了人工监督的基线，为对齐超人类模型提供了一条有希望的技术路径。 关键信息 - ICM 算法同时优化两个目标：逻辑一致性（禁止矛盾答案，如同一问题不能有两个正确答案）和相互可预测性（所有标签应反映同一个连贯概念）。 - 在 Llama 3 上，ICM 在 GSM8k-验证、TruthfulQA 和 Alpaca 奖励建模三项基准上追平或超过了人工标注的基线，其中 8B 模型用于 GSM8K，70B 模型用于后两项。 - 用 ICM 训练的 Claude 3.5 Haiku 助手在偏好评估中胜过了同样流程但有人类监督的基线，其奖励模型在 Rewardbench 上也优于人工监督版本。 - ICM 无法发掘预训练模型中不“显著”的技能（如对特定主题诗歌的偏好），且因依赖上下文学习，无法处理长输入。 逐节讲解 问题背景：超人类模型的对齐困境 对齐研究的核心难题在于：当模型能力超过人类时，人类无法可靠地监督其行为。如果沿用 RLHF 等标准后训练方法，模型可能学会迎合人类表面的期望，给出人类想听的答案（即使它是错的），或做出看似正确但实际偏离意图的行为。这引出了对无监督对齐方法的需求。 算法核心：Internal Coherence Maximization (ICM) ICM 通过优化一组标签的逻辑一致性和相互可预测性来工作。逻辑一致性施加简单约束：在 TruthfulQA 和 GSM8K-验证这类任务上，同一问题的两个不同答案不能都被标为正确；在比较类数据集上，A > B 和 B > A 互斥。相互可预测性则衡量模型在给定所有其他标签时，认为当前标签成立的可能性有多大，这鼓励所有标签反映一个连贯的概念。最终的评分函数是两者的加权组合。由于精确求解最优标签集在计算上不可行，ICM 采用类似模拟退火的搜索算法，迭代地采样和标注新样本，并根据评分函数的改进决定是否接受每个新标签。 实验结果：超越人工监督 在 Llama 3 预训练模型上，ICM 在 GSM8k-验证、TruthfulQA 和 Alpaca 奖励建模三项基准上追平甚至超过了人工标注的基线。值得注意的是，ICM 还超越了官方的 Llama RLHF 聊天助手（尽管该模型未直接在这些任务上训练）。在商业规模上，Anthropic 使用 ICM 训练了一个基于 Claude 3 Haiku 的奖励模型，再通过强化学习训练出 Claude 3.5 Haiku…