广泛探索、精准推理：用小模型逼近前沿
来自 arXiv · 期号 2026-09-30
摘要
推理时增强 LLM 推理能力，通常靠 RL 后训练，但 RL 成本高、泛化不平滑。 Power-sharpened sampling 是另一种思路：不更新参数，只放大高概率序列。但它面临探索与利用的取舍——放大太强，采样器会困在看似合理但错误的推理路径上；放大太弱，答案分布又太散。 Parallel Power Tempering（PPT）用并行回火解决这个矛盾：同时跑多条链，每条用不同的放大强度。低强度的链负责探索多样化的推理路径，高强度的链负责从这些路径里挑出最可能的答案。PPT 还修复了之前 power sampler 里的截断偏差，在有限算力下比单链 power-sharpened 采样和 RL 后训练模型都好，效果接近前沿模型。 论文附了开源代码。