错误预测，正确答案：从崩溃的序列分数中恢复证据
来自 arXiv · 期号 2026-09-01
摘要
大模型推理失败时，通常被认为是能力不足。但新研究发现，这往往只是输出阶段的瓶颈，而非内部逻辑缺失。 研究者在多个推理 benchmark 上观察到一种“读出差距”：即使模型原生序列评分因结构偏差完全失效，隐藏状态探针仍能成功解码正确答案。 他们提出一种诊断方法，仅需在 25 个无标签样本上拟合两个参数，就能为 Qwen3.5 模型恢复 9–34 个准确率百分点，且该方法可迁移至 OLMo-2-1B 和 Llama-3.1-8B。恢复的决策在简单词汇重叠无法解决的难题上依然有效。 结果表明，许多看似零样本推理失败，实际上是表达失败掩盖了完好的内部逻辑。这提醒我们，对 benchmark 评估结果的解读应更谨慎。