直接优化 pass@k 的推理剪枝
来自 arXiv · 期号 2026-10-23
摘要
推理模型在测试时生成大量候选答案，计算开销很大。 现有剪枝策略分两类：基于质量的给每个部分解打分、丢掉预测会错的；基于多样性的选不同推理路径上的解。两者天然冲突，但此前没有工作直接面对这个权衡。 本文提出一种直接优化 pass@$k$ 的剪枝方法：选出的候选池要最大化「至少有一个部分解最终能推出正确答案」的概率。这个目标同时奖励高质量和低冗余，质量和多样性由同一个标准自动平衡。 在 8 个开源推理模型上，该方法在剪枝后保留中等数量候选解时效果最明显，优于现有的质量优先和多样性优先策略。
深读
导读 推理模型在测试时生成大量候选答案，计算开销巨大。现有剪枝策略要么只重质量、要么只重多样性，两者天然冲突。本文提出一种直接优化 pass@$k$ 的剪枝方法，让质量和多样性由同一个目标自动平衡，在 8 个开源模型上优于现有方案。 关键信息 - 现有剪枝策略分两类：基于质量的方法给每个部分解打分、丢掉预测会错的；基于多样性的方法选择不同推理路径上的解。两者冲突，但此前没有工作直接面对这个权衡。 - 本文提出的方法直接优化 pass@$k$：选出的候选池要最大化「至少有一个部分解最终能推出正确答案」的概率。 - 该目标同时奖励高质量部分解、惩罚冗余，质量和多样性由同一个标准自动平衡，而非通过分离的启发式设计。 - 在 8 个开源推理模型上，该方法在剪枝后保留中等数量候选解时效果最明显，优于现有的质量优先和多样性优先策略。 逐节讲解 测试时扩展与剪枝的必要性 推理模型在测试时通过生成大量候选答案来提高找到正确答案的概率，但把所有候选解都运行到底计算开销很大。近期工作采用剪枝策略：先生成短前缀，然后只对存活下来的候选继续投入计算。 现有剪枝策略的冲突 现有策略分两类：基于质量的策略给每个部分解打分，丢掉预测会最终出错的；基于多样性的策略选择不同推理轨迹上的部分解，以覆盖不同的最终答案。这两种目标本质上是探索与利用的冲突，但此前几乎没有工作直接揭示这个权衡，更不用说优化它。 直接优化 pass@$k$ 的剪枝方法 本文提出一种直接处理上述权衡的剪枝过程：通过优化所选候选池的 pass@$k$ 来选择池子，即最大化「池中至少有一个部分解在继续生成后能得出正确答案」的概率。由于这个目标同时奖励高质量的部分解并惩罚冗余，质量和多样性由该标准本身自然平衡，而不需要分离的启发式设计。 实验效果 在 8 个开源推理模型上，该方法优于现有的质量优先和多样性优先剪枝策略。增益在剪枝后保留中等数量部分解继续生成时最为显著，凸显了在剪枝中直接平衡质量与多样性的价值。 值得注意 本文为 arXiv 预印本，发表于 2026 年 10 月。原文信息有限，以下基于论文摘要：摘要未披露具体的剪枝算法实现细节、pass@$k$ 的优化方式（如是否采用可微近似）、实验所用的具体模型名称和 benchmark，也未讨论剪枝带来的实际计算节省量或推理延迟变化。这些细节需阅读全文才能获知。