用弱模型引导大模型探索更多推理路径
来自 arXiv · 期号 2026-08-28
摘要
强化学习（RLVR）能提升大模型的推理能力，但容易让模型陷入少数几条推理路径，导致多样性下降。 这篇论文提出一个简单的解法：让目标模型基于一个更小、更弱的模型生成的**部分推理轨迹**来继续作答。这些不熟悉的推理前缀迫使模型跳出惯性，探索更多路径。 在多个数学 benchmark 上，该方法始终优于标准 RLVR，且随着采样次数 k 增大，优势越明显。不需要额外的 SFT、复杂的奖励设计或提示工程。
深读
导读 强化学习（RLVR）能显著提升大模型的推理能力，但一个被忽视的副作用是策略熵坍塌，模型会收敛到少数几条推理路径，导致多样性下降。这篇论文提出一个极其简洁的解法：让目标模型基于一个更小、更弱模型生成的部分推理轨迹来继续作答。不需要额外微调、复杂奖励设计或提示工程，就能有效拓宽推理覆盖范围，且采样次数越大优势越明显。 关键信息 - 标准 RLVR 训练会导致策略熵下降，模型推理路径变窄，在 pass@k（k 较大时）指标上表现退化。 - 论文提出的方法：让目标模型基于一个更小、更弱模型生成的部分推理轨迹（partial reasoning trajectories）来继续生成答案。 - 在多个数学 benchmark 上，该方法始终优于标准 RLVR，且随着采样次数 k 增大，性能优势越来越明显。 - 该方法不需要额外的 SFT、复杂的奖励设计或复杂的提示工程。 逐节讲解 问题：RLVR 的熵坍塌 RLVR（Reinforcement Learning with Verifiable Rewards）通过可验证的奖励信号来提升大模型的推理能力，效果显著。但论文指出，这一过程会带来一个副作用：策略熵下降（policy entropy collapse）。模型在训练中倾向于重复少数几条有效的推理路径，导致推理覆盖范围变窄，在 pass@k（k 较大时）指标上反而表现变差。现有方法通过算法层面的正则化来缓解这一问题，但论文认为，跨模型的非参数化扰动（cross-model non-parametric perturbation）这一方向被忽视了。 解法：弱模型引导的探索 论文提出的方法非常直接：不依赖目标模型自身的内部探索，而是强制目标模型基于一个更小、更弱语言模型生成的部分推理轨迹来继续作答。这些不熟悉的推理前缀（unfamiliar prefixes）会打破模型在训练中形成的惯性，迫使它探索不同的推理路径。论文从经验上研究了这种外部前缀的作用，揭示了分布差异（distributional discrepancy）对 RLVR 训练中探索动力学的影响机制。 实验结果 在多个数学 benchmark 上的实验表明，该方法始终优于标准 RLVR。一个关键发现是：随着采样次数 k 的增大，性能优势越来越明显，说明该方法确实有效扩展了推理覆盖范围。同时，该方法能高效缓解熵坍塌，且不需要额外的 SFT、复杂的奖励设计或复杂的提示工程。 值得注意 - 原文是论文摘要（content_source: abstract），因此只能看到论文声称的方法和结论，无法了解实验的具体设置、基准测试的详细名称、弱模型的具体选择、以及性能提升的量化幅度。这些细节在论文正文中应有展开，但不在本文范围内。