PHRBench：大模型幻觉后推理的行为评测
来自 arXiv · 期号 2026-10-08
摘要
大模型在推理过程中如果遇到前面步骤产生的幻觉信息，能否自己纠正回来？ 现有研究主要看最终答案对不对，对推理过程本身关注不够。PHRBench 是一个受控评测基准，覆盖四个领域、18 个模型，用三个指标（幻觉顺从、幻觉回避、启发式修正）来刻画每条推理轨迹的行为，并把最终答对且纠正了幻觉的轨迹定义为「有洞察力的轨迹」。 在 4820 个受控实例中，成功纠正仍然比较少见，且与推理过程中更频繁的信念更新相关。幻觉提示本身的特征对能否纠正有很强的预测能力——一个轻量级预测器就能达到 0.847 的 AUROC。 论文附了评测代码和数据集。
深读
导读 大模型在推理过程中如果遇到自己或上游步骤产生的幻觉信息，能否在后续步骤中自行纠正？现有评测大多只看最终答案的对错，忽略了推理轨迹本身的行为。PHRBench 是一个受控评测基准，通过三个行为指标刻画模型在幻觉前提下的推理过程，并发现成功纠正仍然少见，但幻觉提示本身的特征对能否纠正有很强的预测能力。 关键信息 - PHRBench 覆盖四个领域和 18 个大语言模型，构建了 4820 个受控评测实例。 - 定义了三个独立于最终答案正确性的行为指标：幻觉顺从、幻觉回避和启发式修正。 - 将最终答对且纠正了幻觉的轨迹定义为「有洞察力的轨迹」。 - 成功纠正与推理过程中更频繁的信念更新相关。 - 一个轻量级预测器仅凭幻觉提示的特征就能达到 0.847 的 AUROC。 逐节讲解 问题背景：幻觉信息在推理链中的传播 现有研究主要关注大模型的最终输出是否正确，或从宏观上聚合推理动态，但很少在单条推理轨迹的层面考察模型如何处理幻觉前提。当幻觉信息进入多阶段 LLM 系统的上下文后，后续推理步骤能否识别并纠正它，这一问题尚未被充分理解。 PHRBench：行为化的受控评测 PHRBench 是一个受控基准，覆盖四个领域和 18 个模型。它不依赖最终答案的对错来评判推理过程，而是为每条推理轨迹独立计算三个行为指标：幻觉顺从（模型是否接受了幻觉前提）、幻觉回避（模型是否绕开了幻觉信息）、启发式修正（模型是否通过某种启发式方式纠正了幻觉）。其中，最终答对且成功纠正了幻觉的轨迹被定义为「有洞察力的轨迹」。 主要发现：纠正罕见但可预测 在 4820 个受控实例中，成功纠正仍然相对少见。成功纠正的轨迹与推理过程中更频繁的信念更新相关。此外，幻觉提示本身的特征（如幻觉的类型、位置等）对模型能否成功纠正具有很强的预测能力，一个轻量级预测器仅凭这些特征就能达到 0.847 的 AUROC。这些发现从行为层面刻画了大模型在幻觉前提下的推理过程，揭示了模型何时更可能成功纠正错误上下文。 值得注意 本文基于论文摘要，原文篇幅有限，未展开具体领域、模型名单、指标计算公式以及实验设置细节。评测代码和数据集已随论文公开。