不直接优化推理长度，靠自信度信号提升效率
来自 arXiv · 期号 2026-09-26
摘要
推理模型为了得到正确答案，往往会生成极长的推理链，导致推理成本高昂。 现有方案要么在推理时提前停止，要么在训练时用强化学习惩罚长推理。这篇论文发现，一个完全不同的信号——模型对答案的自信度——也能带来效率提升。 方法很简单：用 600 道题做自监督微调，让模型在推理中途预测自己对当前答案的自信程度。训练目标里没有任何关于推理长度或效率的约束。 推理时，模型照常生成，不触发自信度、不提前停止。但微调后的模型在 Gemma、Qwen、Nemotron、GPT-OSS 等模型上，在数学、科学、编程 benchmark 上，以匹配的准确率减少了最多 25% 的生成 token，效率提升与显式优化推理长度的方案相当。 分析表明，自信度监督没有选择性压制某些推理行为，而是基本保留了原模型的推理结构。 论文附了开源代码。
深读
导读 这篇论文发现了一个反直觉的现象：让推理模型在训练时学会预测自己对答案的自信程度，即使推理时完全不使用这个自信度信号，模型也会自动生成更短的推理链，在保持准确率的同时减少最多 25% 的 token 消耗。对于正在为推理成本头疼的从业者，这意味着一条不需要改动推理流程、不需要强化学习惩罚的轻量优化路径。 关键信息 - 方法极轻量：仅用 600 道自监督训练题，对模型做一次微调，训练目标里没有任何关于推理长度或效率的约束。 - 在 Gemma、Qwen、Nemotron、GPT-OSS 四个模型系列上，数学、科学、编程 benchmark 上，以匹配的准确率减少了最多 25% 的生成 token。 - 效率提升与显式优化推理长度的方案（如强化学习加长度惩罚）相当，但不需要在推理时做任何改动，模型照常生成，不触发自信度、不提前停止。 - 分析表明，自信度监督没有选择性压制某些推理行为，而是基本保留了原模型的高层推理结构。 逐节讲解 问题与现有方案 推理模型为了得到正确答案，往往生成极长的推理链，导致推理成本高昂。现有方案分两类：一是在推理时做提前停止（early-stopping），二是在训练时用强化学习加长度惩罚来鼓励短推理。两类方法都直接针对推理长度或效率做优化。 核心发现：自信度监督也能提升效率 论文的关键发现是，一个完全不同的信号，模型对答案的自信度，也能带来效率提升。方法很简单：用 600 道题做自监督微调，让模型在推理中途预测自己对当前答案的自信程度。训练目标里没有任何关于推理长度或效率的约束。推理时，模型照常生成，不触发自信度、不提前停止。但微调后的模型在 Gemma、Qwen、Nemotron、GPT-OSS 等模型上，在数学、科学、编程 benchmark 上，以匹配的准确率减少了最多 25% 的生成 token，效率提升与显式优化推理长度的方案相当。 机制分析 论文进一步分析了推理过程，发现自信度监督没有选择性压制某些推理行为（比如删掉某些类型的推理步骤），而是基本保留了原模型的推理结构。这说明效率提升可能是学习元认知信号（metacognitive signals）的一个下游结果，而不是直接优化效率带来的。 值得注意 - 论文只有摘要（content_source 为 abstract），没有给出方法的具体实现细节，比如自信度预测头的结构、训练数据的构造方式、自信度标签如何从模型自身生成。这些细节需要阅读全文才能获得。 - 600 道训练题的具体来源和分布没有说明，这会影响对方法泛化能力的判断。 - 论文声称效率提升与显式优化推理长度的方案相当，但没有给出具体的对比 baseline 和数值，无法评估这个「相当」的精确程度。