外部观察者可能看得更清楚：跨模型幻觉检测
来自 arXiv · 期号 2026-10-02
摘要
大语言模型生成内容时，幻觉的起止位置很难精确标定。现有内部状态探测方法只做逐 token 的二分类，抓不住语义偏离的连续边界。 这篇论文提出一个基于隐藏状态的框架，通过逐层激活模式定位幻觉的起始 token 和延续 token。在类别极度不平衡的条件下，Precision-Recall AUC 相比随机基线有显著提升。 更关键的是，作者提出跨模型检测：用一个模型观察另一个模型生成时的内部表征。实验发现，外部观察者（即使是参数量更小的模型）在定位幻觉起点上，能达到甚至超过生成模型自身的检测水平。这说明自检测并非幻觉定位的上限。
深读
导读 这篇论文关注的是大语言模型幻觉检测中的一个精细问题：如何精确标定幻觉在文本中的起止位置。现有方法只做逐 token 的“是/否幻觉”二分类，无法捕捉语义偏离的连续边界。作者提出基于隐藏状态的逐层激活模式分析，并进一步验证了“跨模型检测”的可能性，一个模型观察另一个模型生成时的内部表征，在定位幻觉起点上能达到甚至超过生成模型自身的检测水平。对于关心 LLM 可靠性评估与内部状态可解释性的从业者，这篇工作提供了一个新的技术方向。 关键信息 - 现有内部状态探测方法将幻觉检测简化为逐 token 二分类，无法定位幻觉的连续边界。 - 作者提出的框架通过逐层激活模式检测幻觉的起始 token 和延续 token。 - 在类别极度不平衡的条件下，该方法在 Precision-Recall AUC 上相比随机基线有显著提升。 - 跨模型检测实验中，外部观察者（即使是参数量更小的模型）在定位幻觉起点上能达到或超过生成模型自身的检测水平。 逐节讲解 问题背景与现有方法的局限 大语言模型作为推理引擎时，幻觉是其关键脆弱点。近期内部状态探测方法虽然比外部检索系统更快，但大多将检测简化为逐 token 的二分类任务，无法捕捉语义偏离的结构化、连续边界。这意味着即使检测出某个 token 是幻觉，也无法知道幻觉从何处开始、持续到何处。 方法：基于隐藏状态的逐层检测框架 作者提出一个内部隐藏状态框架，用于细粒度的、跨度级别的幻觉检测。核心思路是检查生成过程中每一层的激活模式，从而定位幻觉的起始 token 和延续 token。实验表明，该方法能成功分离出幻觉起点，在类别极度不平衡的条件下，Precision-Recall AUC 相比随机基线有显著提升。 跨模型检测：外部观察者视角 作者进一步提出跨模型检测框架：一个模型观察另一个模型生成时引发的内部表征。实验发现，外部观察者（即使是参数量更小的模型）在定位幻觉起点上，能达到甚至超过生成模型自身的检测水平。这一结果暗示，自检测并非幻觉定位的上限。 值得注意 - 原文为论文摘要，仅给出了方法框架和实验结论，未提供具体模型名称、数据集、基准方法、实验设置或定量结果（如具体的 AUC 数值）。所有结论均基于摘要中的定性描述。