无需搜索的锐化：在线序列级幂分布蒸馏
来自 arXiv · 期号 2026-10-06
摘要
语言模型可能给正确答案的概率高于任何一个错误答案，但仍然经常采样到错误答案，因为所有错误答案的概率总和更大。 幂分布将每个完整答案的概率提升到大于1的幂次并重新归一化，把概率集中到模型认为最可能的答案上（锐化）。从该分布采样能提升推理能力，但每道题需要大量候选答案。 本文提出的OPPD方法让模型通过训练直接一步生成这类答案。训练时，正在训练的模型生成候选答案，冻结的教师模型用幂分布为其加权，再用最大似然更新。 在MATH500上，单次生成准确率比未训练模型最高提升23.0个百分点，在GSM8K上提升27.3个百分点；一次生成的效果甚至超过已发表的64候选幂采样2.4和3.5个百分点，恢复了16候选给未训练模型带来的94%的增益。 与同检查点和预算下使用验证奖励训练的GRPO相比，OPPD在MATH500、GSM8K和AIME上分别高出3.8、4.0和5.4个百分点，且两者互补——在GRPO之后应用OPPD还能再提升最多9.3个百分点。 仅用数学数据训练，OPPD在HumanEval上也能提升最多5.3个百分点。模型吸收的锐化指数在1.19到2.02之间可调，而普通在线蒸馏仅为1.14，且提升主要来自模型自己的答案。 增益在不同模型家族和规模上保持一致，包括已经用验证奖励训练过的模型——降低温度已无效果时，OPPD仍在MATH500上增加了4.4个百分点。 论文附开源代码。