CARM：面向 LLM 强化学习的抵消感知响应掩码
来自 arXiv · 期号 2026-10-02
摘要
强化学习（RL）在 LLM 后训练中广泛使用，但策略更新与 rollout 引擎的差异会导致采样响应偏离策略（off-policy）。 序列级掩码通过判断整条响应是否参与优化来解决此问题。现有方法使用 token 概率比的长度归一化几何均值，其符号对数比会在不同位置相互抵消，掩盖了双向的策略漂移。 CARM 提出在平均前取每个 token 对数比的绝对值，防止正负变化抵消。理论证明，被接受的响应满足采样 token 比率超出规定区间的比例及其平均对数距离的联合界。 在数学推理（AIME 2024/2025/2026 和 BeyondAIME 的 mean@16）上比几何均值掩码最高提升 3.13 个百分点，在四个代码基准的 pass@1 上比最强基线提升 2.88 个百分点。 论文给出了完整的理论证明和实验验证。
深读
导读 这篇论文针对 LLM 强化学习后训练中因策略更新和 rollout 引擎差异导致的 off-policy 问题，提出了一种新的序列级掩码方法 CARM。它通过取每个 token 对数比的绝对值来防止正负抵消，从而更准确地判断整条响应是否参与优化。读完可以理解当前序列级掩码方法的根本缺陷、CARM 的改进原理及其在数学推理和代码生成上的实际收益。 关键信息 - 现有序列级掩码使用 token 概率比的长度归一化几何均值，其符号对数比会在不同位置相互抵消，掩盖双向的策略漂移。 - CARM 在平均前取每个 token 对数比的绝对值，防止正负变化抵消。 - 理论证明：被接受的响应满足采样 token 比率超出规定区间的比例及其平均对数距离的联合界。 - 在数学推理上，CARM 在 AIME 2024/2025/2026 和 BeyondAIME 的 mean@16 上比几何均值掩码最高提升 3.13 个百分点。 - 在四个代码基准的 pass@1 上，CARM 比最强基线提升 2.88 个百分点。 逐节讲解 问题背景：LLM 后训练中的 off-policy 问题 强化学习在 LLM 后训练中广泛应用，尤其在数学推理和代码生成上效果显著。但在实际系统中，策略更新以及 rollout 引擎与训练引擎之间的差异，会导致采样得到的响应偏离当前策略（off-policy）。序列级掩码通过判断整条响应是否应该参与优化来解决这一问题。 现有方法的缺陷：符号抵消掩盖策略漂移 当前常用的掩码规则是计算采样 token 概率比的长度归一化几何均值。由于每个 token 的概率比有正有负（即策略更新后某些 token 概率升高、某些降低），在求几何均值时正负对数比会相互抵消，从而掩盖了双向的策略漂移。这意味着一条响应可能在某些 token 上严重偏离策略、在另一些 token 上又偏回来，但整体掩码值却显示为正常。 CARM 方法：取绝对值防止抵消 CARM 提出在平均前先取每个 token 对数比的绝对值，这样正负变化不会相互抵消。论文给出了理论证明：被接受的响应满足一个联合界，采样 token 比率超出规定区间的比例，以及这些超出 token 的平均对数距离，两者共同受限于一个阈值。 实验验证：数学推理与代码生成 实验在数学推理和代码生成两个任务上进行。数学推理方面，CARM 在 AIME 2024/2025/2026 和 BeyondAIME 的 mean@16 指标上比几何均值掩码最高提升 3.13 个百分点。代码生成方面，在四个代码基准的 pass@1 上，CARM 比最强基线提升 2.88 个百分点。 值得注意 本文仅有摘要，没有提供实验的具体设置（如使用的基座模型、训练数据规模、超参数配置等），也没有给出与更多基线方法的对比细节。因此，CARM 在不同规模模型和…