推理模型的 scratchpad 是否隐藏了额外推理
来自 Anthropic Alignment Science · 期号 2025-03-11
摘要
推理模型的 scratchpad（草稿区）看起来像人类推理，但模型是否在其中隐藏了额外的推理信息？Anthropic 通过一个实验来检验：用 Claude 3.5 Sonnet 改写 Claude 3.7 Sonnet 的 scratchpad，然后微调基础模型使用改写后的版本。如果改写后性能下降，说明模型依赖了原始语法中的隐藏信息；如果性能不变，则说明 scratchpad 就是它真实的推理过程。 实验结果是：改写后的模型在数学题上的表现与使用原始 scratchpad 微调的模型接近。这为“Claude 3.7 Sonnet 没有在 scratchpad 中编码隐藏推理”提供了初步证据。 原文是 Anthropic Alignment Science 博客的一篇研究短文，附有实验设置和讨论。
深读
导读 推理模型在生成最终答案前会输出一段人类可读的“草稿区”(scratchpad),但这段看起来像推理过程的文本是否可能隐藏了模型无法用自然语言表达的额外信息?Anthropic 通过一个精巧的实验来检验:用 Claude 3.5 Sonnet 改写 Claude 3.7 Sonnet 的 scratchpad,然后微调基础模型使用改写后的版本。如果改写后性能下降,说明模型依赖了原始语法中的隐藏信息;如果性能不变,则说明 scratchpad 就是它真实的推理过程。结果支持后一种解释，至少在数学题上,Claude 3.7 Sonnet 没有在 scratchpad 中编码隐藏推理。 关键信息 - 实验使用 10,000 条来自 Claude 3.7 Sonnet 早期检查点的正确数学相关 scratchpad,用 Claude 3.5 Sonnet(2024 年 6 月版)进行改写,然后微调 Claude 3.7 Sonnet 的基础模型使用改写后的推理过程。 - 在 MATH 基准上,使用改写后 scratchpad 微调的模型与使用原始 scratchpad 微调的模型 pass@1 准确率非常接近,表明编码推理(encoded reasoning)在数学任务中不起显著作用。 - 仅要求模型将思考过程拆分成块(不做任何改写),就使 MATH pass@1 准确率下降了 7%,说明模型对 scratchpad 的格式变化很敏感。 - 将 scratchpad 替换为空(empty scratchpad)或让模型在给出答案前从 1 数到 3000(filler tokens),两种做法都表现很差,说明推理过程本身对高性能是必要的,而不仅仅是给模型更多前向传播空间。 - 向更弱的基础模型(XL、L、M、S)蒸馏时,使用改写版 scratchpad 与原始 scratchpad 的性能差异同样很小,进一步支持结论。 逐节讲解 问题:scratchpad 是否隐藏了额外推理 推理模型的 scratchpad 看起来像人类推理:考虑中间步骤、回溯、检查。但即使看起来像,模型可能通过文本的语法特征(如用项目符号还是编号列表来编码一个比特)来编码额外信息,这被称为编码推理(encoded reasoning)或 CoT 隐写术。如果模型在强化学习中学会了这种方式,部署时就能在看似无害的推理中隐藏关于如何造成灾难的思考。 实验设计:改写 scratchpad 并蒸馏 核心思路是去除或随机化 scratchpad 的语法,然后让模型使用改写后的版本。具体做法:从 Claude 3.7 Sonnet 早期检查点取 10,000 条正确的数学 scratchpad,用 Claude 3.5 Sonnet 改写(采样温度 1,并遵循标准化规则),然后微调 Claude 3.7…