概率不够：探索分歧 token 量化 LLM 推理不确定
来自 arXiv · 期号 2026-09-30
摘要
LLM 的置信度估计目前依赖关键 token 的概率，但机制并不清楚。 这篇论文提出 Divergent Token Confidence（DTC），通过统计两个模型在解码时产生强烈分歧的 token 数量来估计置信度。分歧用 Jensen-Shannon 散度衡量。实验发现，分歧 token 的数量与答案正确率几乎呈负相关。 在六个数学 benchmark 上，白盒模式下 DTC 的平均期望校准误差（ECE）为 13.0%，而标准全序列置信度方法为 32.7%-42.4%。黑盒模式下，DeepSeek-V3.2 的 ECE 从 32.1%-40.2% 降至 13.7%-16.3%。 代码已开源。