LLM 裁判检测遗漏：临床记录中的盲区
来自 arXiv · 期号 2026-08-31
摘要
AI 听写工具生成的临床记录，主要错误是遗漏：病历里没写问诊时确认过的信息。 标准做法是用另一个 LLM 当裁判，对照录音检查病历。但作者发现，现有裁判模型几乎检测不出遗漏——在 500 条单错误病历对（298 条遗漏、202 条增改）上，裁判对增改内容的区分度是 0.79-0.94，对遗漏只有 0.50-0.63，跟抛硬币差不多。 改变措辞、投票、GEPA 提示优化都只移动了操作点，没有产生可用的检测能力。真正有效的是重构任务：先让模型列出录音里确认了哪些事实，再逐条核对病历。两种方法独立实现了这一点——逐事实流水线的误报率 2.7%，单次调用的检出率更高（36.9% 对 24.6%，p=0.002），误报率 6.2%，成本只有前者的十分之一。 两种方法都漏掉了那些事实在病历其他地方被复述过的遗漏。作者开源了基准测试、提示词和判断结果。 本文是方法论文，附了开源代码。
深读
导读 这是一篇方法论文，揭示了一个反直觉的事实：用 LLM 裁判模型检查 AI 生成的临床病历，几乎无法检测出“遗漏”错误，病历没写问诊时确认过的信息。作者构建了 500 条单错误病历对，发现裁判对遗漏的区分度仅 0.50-0.63（抛硬币水平），而重构任务（先列出事实再逐条核对）才真正解决问题。读完能带走一个清晰的认知：当前 LLM 裁判的盲区在哪，以及如何绕过它。 关键信息 - 基准测试包含 500 条单错误病历对：298 条是遗漏（病历没写问诊确认过的事实），202 条是增改（写了问诊没确认的内容）。 - 八种裁判设计对增改内容的区分度（paired discrimination）为 0.79-0.94，对遗漏仅为 0.50-0.63——0.5 等于抛硬币。 - 重构任务后，逐事实流水线的误报率 2.7%，单次调用方法的检出率更高（36.9% 对 24.6%，p=0.002），误报率 6.2%，成本仅为前者的十分之一。 - 一位医生作者验证了 70 个项目，在两种方法不一致的 10 例中全部支持流水线（p=0.002）；另一位非作者医生盲审严重性分级，结果一致。 - 两种方法都漏掉了那些事实在病历其他地方被复述过的遗漏。 逐节讲解 问题：AI 临床记录的主要错误是遗漏，但现有裁判模型检测不到 AI 听写工具生成的临床记录，已知的主要错误类型是“遗漏”——问诊时确认过的信息，病历里没写。标准质检流程是用另一个 LLM 当裁判，对照录音逐句检查。但作者指出，公开语料库无法提供正确答案：其中的临床医生参考笔记和录音之间存在实质性差异。为此，他们构建了一个 500 条单错误病历对的基准测试，确保每条错误是确定的。 实验：八种裁判设计均无法可靠检测遗漏 在 500 条病历对上，作者测试了八种裁判设计。对增改内容，裁判的 paired discrimination（有缺陷的病历低于其完美副本的概率，0.5 为随机水平）达到 0.79-0.94；但对遗漏，这个数字只有 0.50-0.63。在单条病历判断上，没有一种设计能比随机更可靠地标记遗漏。改变措辞、投票、GEPA 提示优化都只移动了操作点，没有产生可用的检测能力。 解法：重构任务，先列事实，再逐条核对 真正有效的方法是重构任务：先让模型列出录音里确认了哪些事实，再逐条核对病历是否记录了它们。作者独立实现了两种方式：逐事实流水线（每条事实单独检查）和 GEPA 优化的单次调用提示（一次完成列出和核对）。流水线的误报率 2.7%，标记时会指出缺失的事实及其严重性；单次调用检出率更高（36.9% 对 24.6%，p=0.002），误报率 6.2%，成本仅为流水线的十分之一。医生验证支持流水线的判断。在真实厂商病历上，基准测试的阈值无法直接迁移，但重新校准后的单次调用方法在误报率减半的情况下，检出率仍优于八种裁判设计中…