思维流中的每个 token 都留下涟漪
来自 arXiv · 期号 2026-09-01
摘要
思维链（CoT）推理能提升多步解题能力，但冗长的推理链会大幅增加推理成本。 现有方法通常依赖外部评分器或启发式信号来选择要保留的 token，这些信号与模型内部的答案计算过程关联较弱。本文提出 MIST（模型内部显著性驱动的 token 级 CoT 压缩），从模型内部视角出发：每个推理 token 都会在残差流（模型的“思维流”）中留下“涟漪”，涟漪的大小反映了该 token 对答案计算的贡献。MIST 沿着两个互补维度定义 token 重要性：必要性（移除该 token 的内部贡献后答案概率的下降）和充分性（仅提供该 token 的贡献时答案概率的提升），两者结合得到统一的剪枝重要性分数。 在四个推理基准和四个模型上，MIST 一致优于基线方法，表明模型内部显著性可作为推理 token 重要性的有效代理。
深读
导读 这是一篇关于如何高效压缩思维链（CoT）推理过程的论文。冗长的推理链会显著增加大模型的推理成本，而现有压缩方法依赖的外部信号与模型内部计算关联较弱。本文提出 MIST 方法，直接从模型内部残差流中衡量每个 token 对答案的贡献，在四个推理基准和四个模型上一致优于基线方法，为降低推理成本提供了新思路。 关键信息 - 现有 CoT 压缩方法依赖外部评分器或启发式信号，这些信号与模型内部的答案计算过程关联较弱。 - MIST 从模型残差流（residual stream，即论文所称的“思维流”）中提取每个推理 token 的“涟漪”幅度，以此衡量其对答案计算的贡献。 - MIST 沿两个互补维度定义 token 重要性：必要性（移除该 token 的内部贡献后答案概率的下降）和充分性（仅提供该 token 的贡献时答案概率的提升），两者结合得到统一的剪枝分数。 - 实验覆盖四个推理基准和四个模型，MIST 在所有设置下一致优于基线方法。 逐节讲解 问题与现有方法的局限 思维链（CoT）推理能显著提升大模型在多步推理任务上的表现，但冗长的推理链会大幅增加推理成本。Token 级别的 CoT 压缩通过将完整推理链剪枝为更短的序列来降低这一成本，其核心挑战在于如何选择需要保留的 token。现有方法通常依赖外部评分器或启发式信号来选择 token，但这些信号与模型内部实际用于计算答案的过程关联较弱，导致剪枝效果有限。 MIST 的核心思路：模型内部显著性 论文从模型内部视角出发：当模型逐步形成答案时，每个推理 token 都会在残差流（residual stream）中留下一个“涟漪”（ripple），涟漪的幅度反映了该 token 对最终答案计算的贡献。基于这一观察，MIST 定义了 token 重要性的两个互补维度： - 必要性：移除该 token 的内部贡献后，答案概率的下降幅度。下降越大，说明该 token 越不可或缺。 - 充分性：仅提供该 token 的内部贡献时，答案概率的提升幅度。提升越大，说明该 token 单独就能有效支持答案。 将两者结合，得到一个统一的剪枝重要性分数，用于决定哪些 token 可以保留、哪些可以丢弃。 实验验证 MIST 在四个推理基准和四个模型上进行了测试，结果一致优于现有的基线方法。这表明，模型内部的显著性信号可以作为推理 token 重要性的有效代理，从而在保持推理质量的前提下实现更高效的 CoT 压缩。 值得注意 论文仅提供了摘要，未展示具体的实验数据（如压缩率、准确率变化的具体数值）以及 MIST 与基线方法的详细对比。此外，摘要未说明 MIST 在不同模型规模或不同推理任务类型上的表现差异，也未讨论该方法在长链推理或需要多步回溯的场景下的适用性。