NgramRL：用 rollout 感知的 n-gram
来自 arXiv · 期号 2026-10-24
摘要
强化学习后训练中，自回归 rollout 生成占了超过 70% 的时间。 现有投机解码方案都不太适合这个场景：基于模型的 draft 模型既占显存，又可能随着策略更新而失配；无模型的方法则没有利用训练轮次之间的重复。 NgramRL 的思路是直接用同一 prompt 最近几次 rollout 的历史来构建 n-gram draft 模型。它不需要额外模型、不需要训练、也不在 GPU 上常驻状态，由目标模型做验证来保证 rollout 分布不变。 为了隐藏 CPU 缓存查找的开销，论文还加了一个自适应扇出预取器，预测最可能出现的 (接受长度, 续写 token) 组合，把预取预算集中到高概率结果上。 在 Qwen3-8B 等模型和 Spider 等任务上，NgramRL 在 warm-cache 下每次前向提交 3.60-7.77 个 token，比 SuffixDecoding 最多快 1.99 倍，比 prompt-lookup 快 7.0 倍。预取器在 16 个候选预算下覆盖了 96.6% 的验证结果，实测吞吐提升 1.38 倍。
深读
导读 强化学习后训练中，自回归 rollout 生成占了超过 70% 的时间。这篇论文提出 NgramRL，利用同一 prompt 最近几次 rollout 的历史来构建 n-gram draft 模型，无需额外模型、无需训练、不占 GPU 显存，在 Qwen3-8B 等模型上每次前向提交 3.60-7.77 个 token，比 SuffixDecoding 最高快 1.99 倍。读完能理解一种针对 RL 后训练场景设计的无模型投机解码方案及其核心设计。 关键信息 - RL 后训练中，自回归 rollout 生成耗时超过总训练时间的 70%。 - NgramRL 从同一 prompt 最近几次 rollout 的历史中构建 n-gram draft 模型，不需要辅助模型、不需要训练、不需要在 GPU 上常驻状态。 - 目标模型做验证来保证 rollout 分布不变，即 NgramRL 不改变最终生成分布。 - 在 warm-cache 下，NgramRL 每次目标模型前向提交 3.60-7.77 个 token，最高是 SuffixDecoding 的 1.99 倍、prompt-lookup decoding 的 7.0 倍。 - 在 Spider 任务上，自适应扇出预取器以 16 个候选预算覆盖了 Qwen3-8B 的 96.6% 的验证结果，将实测 rollout 吞吐量提升 1.38 倍，接近 1.40 倍的理论重叠上限。 逐节讲解 问题：RL 后训练中 rollout 生成是瓶颈 强化学习后训练能提升大模型的推理能力，但成本主要由自回归 rollout 生成决定，这部分耗时超过总训练时间的 70%。现有的投机解码方法不适合这个场景：基于模型的 draft 模型既消耗 GPU 显存，又可能随着策略更新而失配；已有的无模型方法则没有利用训练轮次之间的重复模式。 方法：NgramRL 的核心设计 论文观察到，同一 prompt 的最近几次 rollout 历史提供了高质量、自更新的 draft 来源。基于此，NgramRL 为每个 prompt 维护一个从有限近期 rollout 历史中构建的 n-gram draft 模型。它不需要辅助模型、不需要训练、不需要在 GPU 上常驻状态，由目标模型做验证来保证 rollout 分布不变。 优化：自适应扇出预取器 为了隐藏 CPU 缓存查找和调度的开销，论文引入了一个自适应扇出预取器。它预测最可能出现的验证结果 (j, b)，其中 j 是接受的 draft 长度，b 是目标模型续写的 token。一个因果预算分配器将预取预算集中到高概率结果上，未被覆盖的结果则回退到顺序查找，不改变已提交的 token。 实验结果 在两个模型系列和三个推理与结构化生成任务上，NgramRL 在 warm-cache 下每次目标…