Kwai AI 的 SRPO 将 RL 训练步骤减少
来自 Synced · 期号 2025-04-24
摘要
强化学习后训练的计算成本很高。GRPO 虽然比 PPO 高效，但仍有大量重复计算。 Kwai AI 提出的 SRPO 框架，通过两阶段强化学习加历史重采样，将 LLM 后训练所需的步骤减少了 90%。在数学和代码基准测试中，SRPO 达到了与 DeepSeek-R1 相当的性能。 核心思路是让模型在训练中复用之前探索过的轨迹，而不是每次都从头开始。
来自 Synced · 期号 2025-04-24
强化学习后训练的计算成本很高。GRPO 虽然比 PPO 高效，但仍有大量重复计算。 Kwai AI 提出的 SRPO 框架，通过两阶段强化学习加历史重采样，将 LLM 后训练所需的步骤减少了 90%。在数学和代码基准测试中，SRPO 达到了与 DeepSeek-R1 相当的性能。 核心思路是让模型在训练中复用之前探索过的轨迹，而不是每次都从头开始。
本站只做摘要与索引，全部内容版权归原作者所有。