Cliff：从第一个错误学过程奖励
来自 arXiv · 期号 2026-09-03
摘要
强化学习用结果奖励（RLVR）做 LLM 后训练，但结果奖励太粗，中间推理步骤得不到指导。 现有方案要么额外训一个过程奖励模型，要么让教师和学生用完全一样的推理模式，代价都高。Cliff 发现：推理一旦走错，后面的步骤就没什么信息量了——它们已经基于一个错误前缀。 Cliff 的做法是：拿一个现成的 LLM 当教师，在每次 rollout 里找出第一个错误。rollout 自然分成两段：正确的前缀和错误的后缀。Cliff 给前缀正奖励、后缀负奖励。 12 个场景下，Cliff 比 on-policy 蒸馏高 15%，比标准 GRPO 高 7%，而且教师模型不需要很强。
深读
导读 这是一篇关于如何更高效地为大语言模型推理过程提供细粒度奖励信号的方法论文。它提出了一种名为 Cliff 的简单策略：利用现成 LLM 找出推理中的第一个错误，据此将 rollout 拆分为正确前缀和错误后缀并分配不同奖励。该方法在 12 个场景下平均比标准 GRPO 高 7%，且不需要额外训练过程奖励模型或要求教师与学生推理模式一致，值得关注。 关键信息 - Cliff 的核心观察：推理一旦出现第一个错误，后续步骤基于无效前缀，评估其信息量有限。 - 方法：利用现成 LLM 作为教师，在每次 rollout 中定位第一个错误，将 rollout 分解为正确前缀和错误后缀。 - 奖励分配：对正确前缀赋予正优势，对错误后缀赋予负优势（token 级别）。 - 实验规模：在 12 个不同场景下测试，Cliff 比 on-policy 蒸馏高 15%，比标准 GRPO 高 7%。 - 教师模型不需要很强（"modest capability"）即可生效。 逐节讲解 问题背景与现有方法的局限 强化学习用结果奖励（RLVR）是 LLM 后训练的主流范式，但结果奖励过于粗糙，无法指导中间推理步骤。现有改进方案有两种：一是额外训练一个专门的过程奖励模型，二是让教师和学生使用完全相同的推理模式（on-policy 蒸馏）。两者都引入了额外的约束和成本。 Cliff 的核心观察与策略 论文作者观察到，一旦推理过程出现第一个错误，后续步骤的评估价值就非常有限，因为它们已经基于一个无效的前缀。基于此，Cliff 的策略是：使用一个现成的 LLM 作为教师，在每次 rollout 中找出第一个错误。rollout 因此被自然分解为两部分：正确的前缀和错误的后缀。Cliff 将这一信号转化为 token 级别的优势值，对正确前缀给予正奖励，对错误后缀给予负奖励。 实验验证与结论 在 12 个不同场景下的实验表明，Cliff 持续提升了推理性能：比 on-policy 蒸馏高 15%，比标准 GRPO 高 7%。即使教师模型能力不强，Cliff 仍然有效。论文还分析了"ground truth"在 Cliff 中的作用，并研究了其训练动态。结论是 Cliff 是一种简单、通用且有效的方法，能够为 RLVR 提供更丰富的细粒度监督信号。 值得注意 - 本文仅基于论文摘要（content_source 为 abstract），所有内容均来自摘要本身。摘要未提供具体实验设置、数据集、模型规模、基线方法细节等，也未说明"12 个不同场景"具体指什么。更深入的方法细节、消融实验和局限性分析需要阅读全文。 - 摘要提到"分析了 ground truth 的作用"，但未给出分析结论，这部分信息在可见文本之外。