提取并表征前沿模型隐藏思维链
来自 arXiv · 期号 2026-09-23
摘要
前沿模型的能力提升常被归因于推理能力改善，但闭源系统隐藏了原始CoT轨迹，无法验证。 研究者通过标准API注册自定义工具，诱导模型外部化中间推理。在开源模型上验证了提取的推理与原生CoT表现一致，并在GPT-6 Astra等闭源模型上确认，在竞赛数学、科学、代码生成任务中显著超过无推理基线。 进一步分析发现，Astra显示出token高效的定向推理：更早选择正确轨迹，内部解决基本步骤，只外部化关键推理。这些发现为理解前沿模型的推理行为提供了超越基准分数的行为视角。
深读
导读 原文信息有限，以下基于论文摘要。该研究提出一种通过标准API注册自定义工具的方法，诱导GPT-6 Astra等闭源前沿模型外部化隐藏的链式思维（CoT），从而在不获取原始推理轨迹的前提下分析其推理行为。值得关注的是，它在开源模型上验证了提取的推理与原生CoT表现一致，并发现Astra展现出token高效的定向推理，更早选择正确轨迹、内部解决基本步骤，只外化关键推理。这为理解前沿模型的能力来源提供了超越基准分数的行为视角。 关键信息 - 研究方法：通过标准API注册自定义工具，诱导闭源模型将中间推理过程外部化。 - 在开源模型上验证：提取的推理链与原生CoT表现一致，显著优于无推理基线。 - 覆盖任务：竞赛数学、科学、代码生成三类任务。 - 测试模型：闭源前沿模型包括GPT-6 Astra。 - 核心发现：Astra展现出token高效的定向推理，更早选择正确轨迹，内部解决基本步骤，仅外化关键推理。 逐节讲解 背景与问题：隐藏的推理轨迹 前沿模型的能力提升常被归因于推理能力的改善，但闭源系统隐藏了原始CoT轨迹，外部无法直接验证。研究者需要一种不依赖模型内部日志的方法来观察推理过程。 提取方法：通过工具诱导外化 研究者利用标准API的注册自定义工具功能，构造一个简单工具，诱导模型在调用该工具的过程中记录中间推理步骤。由于外化的推理可能是事后合理化而非真实推理，研究首先在开源模型上对比提取的推理与原生CoT的表现，确认两者一致后，再将方法扩展到闭源模型（包括GPT-6 Astra）。 结果与分析：定向推理与token效率 在竞赛数学、科学、代码生成任务上，提取的推理表现显著优于无推理基线。进一步对推理结构化分析发现：不同模型在token使用效率、推理步骤类型、推理树结构上存在系统性差异。Astra采用token高效的定向推理策略，它更早选中正确解答路线，将基本计算步骤内部解决，只外化关键判断和推理，从而节省外部token并提高准确性。 值得注意 - 外化推理是否等同于模型的真实推理链，在闭源模型上无法直接验证。开源模型的验证只能说明该方法在已知架构上有效，但不保证闭源模型（如Astra）的内部推理机制与外部化结果完全一致。 - 摘要未说明实验的样本量、基线具体配置（如“无推理基线”的具体形式），也未报告具体benchmark分数，因此“显著优于”的程度和统计意义无法评估。 - 论文仅覆盖竞赛数学、科学、代码三类任务，在更广泛的下游任务（如长文本推理、多步规划）上的泛化能力未知。