正确答案，无效 trace：可验证数学揭示思维链真相
来自 arXiv · 期号 2026-09-30
摘要
思维链（CoT）被广泛视为模型推理过程的记录，用于调试、审计和论证推理能力。 这篇论文在 iGSM 这个可编程验证的小学数学基准上检验了这一假设。iGSM 能逐步骤检查模型生成的 trace 是否有效。 关键发现：在分布内，答案正确性与 trace 有效性几乎重合；但在最难样本上，31.6% 的正确答案对应无效 trace，其中超过一半通过了语法和算术检查，却栽在语义依赖上。 进一步实验表明，训练数据中的非最小 trace 会诱导模型输出非最小 trace；打乱 10% 训练 trace 的 token 顺序后，模型在分布外仍保持接近干净的准确率，但没有任何 trace 能通过验证。 这些结果对依赖 CoT 进行安全监控的做法提出了质疑：正确的答案不一定来自有效的推理过程。
深读
导读 这篇论文在可编程验证的小学数学基准 iGSM 上，系统检验了“思维链（CoT）是模型推理过程忠实记录”这一广泛假设。核心发现是：正确答案不一定来自有效推理，在分布外最难样本上，31.6% 的正确答案对应无效 trace。这对依赖 CoT 进行安全监控的做法提出了直接挑战。 关键信息 - 论文使用 iGSM 基准，该基准能逐步骤程序化检查模型生成的 trace 是否使用了正确的数量和依赖关系。 - 在分布内，答案正确性与 trace 有效性几乎重合；但在最难样本上，31.6% 的正确答案对应无效 trace。 - 超过一半的无效 trace 通过了语法和算术检查，但栽在语义依赖检查上。 - 打乱 10% 训练 trace 的 token 顺序后，模型在分布外仍保持接近干净的准确率，但没有任何 trace 能通过验证。 - 非最小训练 trace 会诱导模型输出非最小 trace；用不同 query 重新提问同一问题时，模型会继承原 query 的计算过程。 逐节讲解 研究动机与实验设置 思维链 trace 被广泛视为模型推理过程的记录，用于调试、审计和论证推理能力。但这一假设难以检验，因为自然语言推理 trace 很少能被机械验证。论文在 iGSM 基准上重新审视这一问题。iGSM 是一个合成的小学数学基准，专门设计用于研究思维 trace，它暴露了正确解法应使用的精确数量和依赖关系，使得生成的 trace 可以被逐步骤程序化检查，从而检验正确答案是否总是伴随有效 trace。 核心发现：正确答案与有效 trace 的分离 论文首先评估了仅在有效、最小 trace 上训练的模型。在分布内，答案正确性与 trace 有效性几乎重合。但在分布外（最难样本上），31.6% 的正确答案对应无效 trace。其中超过一半的无效 trace 通过了所有语法和算术检查，但未能通过语义依赖检查，这意味着模型虽然算对了数，但推理路径在逻辑依赖上是错误的。 干预实验：训练数据对 trace 有效性的影响 论文进一步对 trace 监督进行干预。非最小训练 trace 会诱导模型输出非最小 trace。用不同 query 重新提问同一问题时，模型会继承原 query 的计算过程，这削弱了“最小 trace”作为选择性规划证据的说服力。打乱 10% 训练 trace 句子中的 token 顺序后，模型在分布外仍保持接近干净的准确率，但没有任何 trace 能通过验证。交换训练 trace 同样能在分布内保持高准确率。 值得注意 - 论文的结论建立在 iGSM 这一合成基准上。iGSM 是小学数学题，其 trace 结构和验证方式与真实世界中的复杂推理任务（如代码生成、法律分析）有本质差异。在更开放、更复杂的任务上，CoT trace 的忠实性可能更差，也可能更好，目前无法直接外…