更大批次何时帮助扩展LLM强化学习
来自 Tencent Hunyuan Research · 期号 2026-09-22
摘要
LLM强化学习的训练成本高昂，10,000块GPU跑30天就要两千多万美元。批次大小是每个训练配方都有的参数，直接影响效率。 研究将训练速度分解为样本效率和系统效率的乘积。样本效率衡量每轮响应学到多少，系统效率衡量每秒处理多少响应。更大批次加速的条件是吞吐量增益超过样本成本增加，即r_q>r_N。 通过平方根规则重新调整学习率，可以在一定范围内保持近似批次不变性——相等响应数量下不同批次的学习效果大致相同。在此范围内，中等批次（2B、4B）因吞吐量提升而加速，但16B批次因样本成本过高而变慢。 一个示意：原本100,000个响应以每分钟1,000个处理需100分钟；更大批次需要120,000个响应但处理速度升至每分钟1,500个，尽管样本效率下降，总时间仍缩短20%。 实践上，先调整学习率建立批次不变性，再扩大批次以优化吞吐量，这是更可靠的加速途径。