答案分布轨迹：LLM 推理的随机动力学视角
来自 arXiv · 期号 2026-09-09
摘要
评估 LLM 推理时，只看最终答案的准确率会忽略推理过程。 已有的熵曲线方法能追踪不确定性如何变化，但看不出是哪些候选答案造成了这种不确定性。 本文提出「答案分布轨迹」：把推理每一步的完整预测分布记录下来，比端到端准确率和熵曲线都更精细。用这个工具可以区分推理过程中的探索、修正、移动和承诺四种动态机制，并识别推理成功或失败的不同动力学原因。 在 16 个开源模型和 4 个推理 benchmark 上，作者发现：最终答案相同、熵曲线相似的推理路径，其动态机制可能完全不同；不同模型和任务偏好的动态模式也不同；训练和推理的选择会系统性地改变这些动态模式。 论文附了开源代码。
深读
导读 这篇论文提出了一种比只看最终答案准确率或熵曲线更精细的 LLM 推理过程分析方法。它把推理每一步的完整预测分布记录下来，形成「答案分布轨迹」，从而揭示推理成功或失败背后的动力学原因。读完能理解为什么两个最终答案相同、熵曲线相似的推理路径，其内在机制可能完全不同。 关键信息 - 论文在 16 个开源模型和 4 个推理 benchmark 上进行了实验。 - 提出的「答案分布轨迹」比端到端准确率和熵曲线更精细，能区分推理过程中的探索、修正、移动和承诺四种动态机制。 - 实验发现：最终答案相同、熵曲线相似的推理路径，其动态机制可能完全不同。 - 不同模型和任务偏好的动态模式存在显著差异，训练和推理的选择会系统性地改变这些动态模式。 - 论文附有开源代码。 逐节讲解 现有评估方法的局限 链式思维推理在模型输入和最终答案之间提供了结构化计算，但通常只通过端点准确率来评估，忽略了到达答案的路径。已有的熵曲线方法虽然能追踪不确定性在推理过程中如何演变，但无法揭示是哪些候选答案造成了这种不确定性。 答案分布轨迹的提出 论文引入了一种受随机动力学启发的表示方法，答案分布轨迹。它追踪模型在推理展开时，对答案的完整预测分布。作为比端到端准确率和熵曲线更精细的表示，该轨迹能够刻画推理过程中的探索、修正、移动和承诺四种动态机制，并区分推理成功和失败的不同动力学原因。 实验发现 在 16 个开源模型和 4 个推理 benchmark 上，实验表明：具有相同端点和相似熵曲线的推理路径，其推理动态可能截然不同。不同模型和任务内部的动态模式也存在显著差异，不同的目标偏好不同的动态模式。此外，训练和推理的选择会系统地重塑这些动态模式。 值得注意 本文的结论完全基于摘要内容。由于只有论文摘要，无法判断其具体实验设置、基准测试的细节、以及「答案分布轨迹」的计算方法是否足够鲁棒。摘要中未提及该方法与现有方法的定量对比结果（如性能提升的具体百分比）。