GRPO 中被忽视的虚假优势
来自 arXiv · 期号 2026-09-04
摘要
GRPO 的奖励分配有一个被忽略的漏洞：当模型通过猜测而非推理得到正确答案时，公式仍然会给它高分。 这个问题出现在三类场景：候选答案很少的单选题、看似开放但实际选项有限的题目、以及搜索 agent 在预算内穷举到答案的情况。模型会被引导去猜，而不是去推理。 作者提出 SIGNBALANCE，核心改动是去掉组内相对奖励的构造方式，改用全局尺度加类别平衡。在开放答案数学题上持平 GRPO，在单选题和搜索 agent 上都有提升。