AI 的混乱：错误随智能与任务复杂度如何缩放
来自 Anthropic Alignment Science · 期号 2026-01-01
摘要
AI 系统失败时，是系统性地追求错误目标，还是纯粹乱来？ Anthropic 的研究者把模型错误拆成偏差（系统性）和方差（不一致）两部分，在 GPQA、MMLU、SWE-Bench 等基准上测试了 Claude Sonnet 4、o3-mini、o4-mini、Qwen3 等前沿推理模型。 结果发现：任务越难、推理链越长，失败就越倾向于「乱来」而非「系统性地走偏」。论文把「不一致」定义为方差占总误差的比例，取值 0 到 1——0 代表所有错误都是系统性的，1 代表完全随机。
深读
导读 AI 系统失败时，是像经典对齐故事里那样系统性地追求一个错误目标，还是像人类一样纯粹乱来？Anthropic 的研究者将模型错误拆分为偏差（系统性）和方差（不一致）两部分，在 GPQA、MMLU、SWE-Bench 等基准上测试了 Claude Sonnet 4、o3-mini、o4-mini、Qwen3 等前沿推理模型。核心发现是：任务越难、推理链越长，失败就越倾向于「乱来」而非「走偏」，这对 AI 安全研究的优先级有直接影响。 关键信息 - 研究者将误差分解为偏差（Bias²）和方差（Variance），定义「不一致度」为方差占总误差的比例，取值 0 到 1——0 代表所有错误都是系统性的，1 代表完全随机。 - 在所有测试任务和模型中，模型推理或行动越长，其错误的不一致度就越高。这一规律在 GPQA、SWE-Bench、安全评估和合成优化任务中均成立。 - 模型智能水平与错误不一致度的关系不一致：在简单任务上，更智能的模型错误更一致；在困难任务上，规模扩大不会降低不一致度，甚至可能升高。 - 模型自发「过度思考」（比其中位数推理更长）时，错误不一致度急剧上升；而通过 API 设置主动增加推理预算，对不一致度的改善效果有限。 - 集成多个样本可以降低方差（理论上预期），从而获得更一致的行为，但这在不可逆的 agent 任务中可能不实用。 逐节讲解 偏差-方差分解：量化不一致性 研究者借用经典的偏差-方差分解框架，将 AI 系统的总误差拆成两部分：偏差代表系统性、可重复的错误（每次都错在同一个方向），方差代表不一致、不可预测的错误（每次错的都不一样）。不一致度定义为方差除以总误差，取值 0 到 1。这个指标关注的是错误的「类型」而非「频率」——模型规模扩大时总误差自然会下降，但研究者关心的是剩下的错误里，系统性和随机性各占多少。 四个核心发现 发现一：推理越长，错误越乱。 在所有测试任务（多选题、编程、安全评估）和所有模型（Claude Sonnet 4、o3-mini、o4-mini、Qwen3）上，模型花在推理和行动上的步数越多，其错误的不一致度就越高。这是全文最稳健的结论。 发现二：智能水平与不一致度的关系不统一。 在合成优化任务中，更大的模型错误更不一致；在专家主观评估中，更智能的 AI 被认为行为更不一致；在标准基准上，简单任务中更智能的模型错误更一致，但困难任务中规模扩大不会降低不一致度。研究者认为，仅靠扩大规模无法消除错误的不一致。 发现三：自然「过度思考」比主动增加推理预算影响更大。 当模型自发地比其典型推理长度思考更久时，错误不一致度急剧飙升。相比之下，通过 API 设置人为增加推理预算，对不一致度的改善很有限。自然波动的影响远大于人为控制。 发现四：集成可以降低不一致度。 对多个样本取平均可以降低方差，从而获得更一致的行为。但研究…