为 MCP agent 做源感知的事实验证
来自 Hugging Face · 期号 2026-09-29
摘要
MCP agent 可以同时调用搜索、数据库、病历等多个工具，再把结果揉进一个回答里。这时候一个事实在某个工具的输出里是真的，但回答把它安到了另一个来源头上——源无关的验证器因为事实存在于“证据池”里，仍然判通过。 ProvenanceGuard 是一个后处理验证层，不改变 agent 本身。它把 MCP 调用的工具输出和来源 ID 一路保留到验证结束：先拆解回答为独立声明，找到每条声明最相关的来源，检查该来源是否真的支持它，再核对来源是否与回答声称的一致，最后逐条给出来源判决和全局通过/拦截。 在医疗 agent 的 281 条真实轨迹上测试：专家认为不应通过的 139 条声明，ProvenanceGuard 拦住了 138 条；在可识别来源的声明中，正确匹配来源约 86%。与 MiniCheck、RAGAS Faithfulness、AlignScore、SummaC-ZS 四个源无关验证器相比，它在拦截精度上最高（F1 0.802），且唯一能输出每条声明对应的来源 ID。 论文附了开源代码和完整实验配置。