双时钟：RLVR 中大 batch 为何学得慢
来自 arXiv · 期号 2026-10-14
摘要
强化学习（RLVR）依赖模型生成大量回答，成本很高。 一个常见的做法是：增大 rollout batch size，同时按平方根规则降低学习率。过去认为这样能保持每个样本的进步速度，但实际多步训练中效果并不好。 这篇论文提出了一个「双时钟」框架，把「取得进步所需的样本」和「模型崩溃前消耗的样本」分开计算。在局部二次模型下，平方根规则只能保持一阶漂移，但大 batch 意味着更少、更长的更新步，曲率损失更大，导致样本效率下降。 在 Qwen2.5-Math-1.5B 上做 GRPO 实验，batch size 跨度 16 倍，验证了上述预测。ratio clipping 可以推迟崩溃，但进步差距依然存在。 论文最后给出一个简单的多步 RLVR 调度策略：先在临界 batch size 以下训练，崩溃前再切到大 batch。