理解 LLM 推理的演化策略
来自 arXiv · 期号 2026-08-28
摘要
强化学习（GRPO）做推理训练时，模型容易陷入熵坍塌——Pass@1 不错，但 Pass@K 上不去。 演化策略（ES）能解决这个问题。理论证明，ES 种群内的 Jensen-Shannon 多样性有助于提升 Pass@K；实验也显示，ES 在保持 Pass@1 的同时，Pass@K 显著高于 GRPO。论文还提出 GRPO→ES 的串行训练策略，先拿 GRPO 冲 Pass@1，再用 ES 扩 Pass@K。 另一个发现是：ES 虽然让整个模型的参数发生大幅漂移，但真正贡献性能提升的只有少数大幅度更新。这意味着参数大动不等于功能大改，也不会必然导致灾难性遗忘。 最后，ES 在更大的 LLM 上只需要更小的种群规模。 论文附了理论证明与实验代码。
深读
导读 这篇论文系统性地研究了演化策略（ES）在 LLM 推理后训练中的优化行为，并与主流方法 GRPO 进行了对比。核心发现是：ES 能带来比 GRPO 更广的推理覆盖（Broader Reasoning Coverage），从而在保持 Pass@1 的同时显著提升 Pass@K。对于关注 LLM 推理能力提升和强化学习训练范式的从业者，这篇论文提供了一个值得关注的新视角。 关键信息 - 论文从理论和实验两个层面证明，ES 种群内的 verifier-projected Jensen-Shannon 多样性有助于提升 Pass@K 性能。 - 与 GRPO 表现出熵坍塌（entropy collapse）不同，ES 在提升 Pass@1 的同时，Pass@K 显著高于 GRPO。 - 论文提出了一种 GRPO→ES 的串行训练策略：先用 GRPO 优化 Pass@1，再用 ES 扩展 Pass@K。 - 尽管 ES 导致整个模型的参数发生大幅漂移，但真正贡献性能提升的只有少数大幅度更新（sparse subset of larger-magnitude updates），这种功能稀疏性表明参数大动不等于功能大改，也不会必然导致灾难性遗忘。 - ES 在更大的 LLM 上只需要更小的种群规模。 逐节讲解 研究动机与问题 论文指出，演化策略（ES）最近被用作一种内存高效的后训练范式来提升 LLM 的推理能力，但其优化行为尚未被充分研究，因此难以界定它相对于主流后训练范式（如 GRPO）的优势范围。作者希望通过系统研究 ES 的动态和机制来填补这一空白。 ES 的优势：更广的推理覆盖 论文首先识别出 ES 相对于 GRPO 的一个性能优势。理论上，作者证明 ES 种群内的 verifier-projected Jensen-Shannon 多样性有助于提升 Pass@K 性能。实验上，与 GRPO 表现出熵坍塌不同，ES 在提升 Pass@1 的同时，Pass@K 显著高于 GRPO。基于此，论文进一步提出了一种 GRPO→ES 的串行训练策略，结合 GRPO 在 Pass@1 上的优势和 ES 在 Pass@K 上的增益。 参数漂移与功能稀疏性 论文的第二个发现是：尽管 ES 导致整个模型的参数发生大幅漂移，但真正贡献性能提升的只有少数大幅度更新。这种功能稀疏性表明，参数的大幅移动并不必然意味着广泛的功能改变，并且对保留任务的评估进一步显示，这也不一定会导致灾难性遗忘。 超参数设计与规模效应 最后，论文研究了超参数设计如何影响 ES 的有效性，并证明在更大的 LLM 上，ES 只需要更小的种群规模。这些发现将 ES 定位为一种独特的推理后训练范式，而不是 GRPO 的一个效果较差的内存高效替代方案。 值得注意 由于 content_source 为 abstra…