超越重复采样：为LLM推理学习搜索策略
来自 arXiv · 期号 2026-09-23
摘要
大型语言模型面对困难推理问题时，常用策略是反复采样：生成大量独立答案，期望其中一个正确。但这种方式只依赖局部解码噪声，产生的大多是近似的重复尝试。 本文提出在概念层面引导探索：先采样问题的概念、提示或策略，再基于它们生成答案。进一步，将概念生成器通过强化学习训练，使其生成的概念能最大化一个更大的、冻结的答案生成器的成功率。 在数学推理难题上，训练过的概念生成器显著提升了答案生成器的 pass@k，超越了未调整的大模型生成的概念，并且能迁移到从未训练过的答案生成器，包括不同模型族。
深读
导读 这篇论文指出大型语言模型在困难推理任务中广泛使用的重复采样策略效率低下，生成的大量答案近似重复、而非思路上的多元探索。作者提出将探索提升到语义层面：先采样问题相关的概念、提示或策略，再据此生成答案，并用强化学习训练一个小型概念生成器，使其为冻结的大型答案生成器提供更高成功率的引导。论文展示了小模型可以作为大模型可复用的搜索策略，为测试时计算分配提供了一个新方向。 关键信息 - 论文提出在单个轨迹中生成多个多样概念，以此替代仅依赖解码噪声的重复采样。 - 使用强化学习训练一个小型概念生成器，其生成的概念能最大化更大的、冻结的答案生成器的成功概率。 - 在数学推理难题上，训练过的概念生成器提升了答案生成器的 pass@k，超越了从更大未调优模型抽取的概念。 - 经过训练的概念生成器可迁移到它从未训练过的答案生成器上，包括来自不同模型族的模型。 逐节讲解 问题：重复采样的局限 当前大模型为应对困难推理任务，主要做法是花费更多测试时计算资源进行重复采样，独立生成大量答案，期待其中至少一个正确。但这种采样只依赖局部解码的随机噪声，导致大量输出在思路上高度雷同、近似重复，无法带来真正多样的尝试。 方案：语义层面的探索与可学习的概念生成 作者先提出一种更简单的探索流程：在语义层面引导探索，先针对具体问题采样多样化的概念、提示或策略，再生成基于这些概念的答案。该流程通过在单个轨迹中发射多个不同概念实现。更进一步，作者使概念生成可训练：使用强化学习优化一个小型概念生成器，其生成的概念应最大化一个更大的、参数冻结的答案生成器的下游成功率。 实验结果：提升与迁移 在困难数学推理问题上，经过训练的概念生成器显著改善了答案生成器的 pass@k，效果优于同等答案生成预算下的重复采样，也超过了从更大但未经调优的模型中抽取的概念。该概念生成器还能迁移到训练期间未接触过的答案生成器上，包括来自不同模型族的模型。这表明一个小模型可以被训练成对更大模型有效且可复用的搜索策略。