DescaPE：用内部归因信号抑制幻觉
来自 arXiv · 期号 2026-09-14
摘要
大语言模型自回归生成时，早期的事实错误会像滚雪球一样越滚越大，事后修正或权重干预都来不及阻止。 DescaPE 提出一种解码框架：通过滑动窗口消融 MLP 层，找到模型内部对事实敏感的层区间，从中提取一个信号——这个信号在事实性 token 上被选择性激活，在幻觉步骤上出现异常尖峰。训练一个轻量探针，单次前向传播就能近似这个信号，然后把它加入候选 token 的打分，惩罚高风险续写、奖励事实性续写。 在三个 LLM 的五个事实性 benchmark 上，DescaPE 在多种设置下优于解码时基线，推理开销仅增加 1.10 倍。代码已开源。