Bellman 策略优化
来自 arXiv · 期号 2026-09-15
摘要
强化学习用可验证奖励（RLVR）能提升大模型的推理能力。 本文提出 Bellman Policy Optimization（BPO），一种不需要 critic 的方法。它从 Policy Mirror Descent（PMD）出发，用 Bellman 方程把目标改写为轨迹级别，从而避免在中间状态估计价值函数。论文证明改写后的目标与原始 PMD 有相同的唯一最优解。 实际 BPO 损失函数中的 mismatch-correction 权重是互补 token 概率的平滑比值。在数学推理 benchmark 上验证了有效性。