同一查询，不同答案：语义查询的逐次方差
来自 arXiv · 期号 2026-10-10
摘要
语义查询引擎让大模型逐行判断，评测只跑几次（温度 0）就下结论。 这篇论文把 SemBench、LRO-Bench、UDA-Bench 的文本和表格任务重跑了 120 万次模型调用。温度 0 下，同一行在不同执行中改变输出的比例从 0.07% 到 10.2% 不等，单个任务最高 24.0%。查询计划会指数级放大这种波动：UDA-Bench 上只有百分之几的提取值变了，但约三分之二的最终答案变了。 SemBench 已发表的结果里，21% 的文本答案在不同执行间质量不同——即使引擎的计划是确定性的。多个逐查询的系统对比，以及 LRO-Bench 的 28 项实现建议测试中的 16 项，单靠评测跑的那几次执行无法定论。 波动行恰好是模型之间意见不一的行；同一次执行内对同一行的两次请求，分歧频率与跨执行相当。单次执行的决策置信度或推理长度可以预测哪些行会变。投票能降低方差但消除不了。 论文给出了评测的汇报规则和引擎的设计规则。
深读
导读 语义查询引擎让大模型逐行判断，但评测通常只跑几次（温度 0）就下结论。这篇论文用 120 万次模型调用重跑了三个主流基准测试，发现同一查询在不同执行中答案会变，且查询计划会指数级放大这种波动。读完你会得到一个关键认知：当前语义查询评测的结论，很多是单次执行碰巧出来的，不可靠。 关键信息 - 温度 0 下，同一行在不同执行中改变输出的比例从 0.07% 到 10.2% 不等，单个任务最高 24.0%。 - UDA-Bench 上只有百分之几的提取值变了，但约三分之二的最终答案变了，查询计划按暴露行数指数级放大波动。 - SemBench 已发表的结果里，21% 的文本答案在不同执行间质量不同，即使引擎的计划是确定性的。 - LRO-Bench 的 28 项实现建议测试中，16 项单靠评测跑的那几次执行无法定论。 - 波动行恰好是模型之间意见不一的行；同一次执行内对同一行的两次请求，分歧频率与跨执行相当。 - 单次执行的决策置信度或推理长度可以预测哪些行会变；投票能降低方差但消除不了。 逐节讲解 问题：语义查询评测的根基不稳 语义查询引擎让 LLM 逐行判断（如“这一行是否满足条件”），基准测试则比较不同引擎在几次执行（温度 0）上的答案质量。论文的核心问题是：换一次执行，答案会变多少？作者重跑了 SemBench、LRO-Bench、UDA-Bench 的文本和表格任务，记录 120 万次模型调用，并重新分析了 SemBench 已发表的执行结果。 波动有多大 温度 0 下，同一行在五次执行中改变输出的比例从 0.07% 到 10.2% 不等（取决于模型），单个任务最高 24.0%。论文用一个“可能世界”模型解释：查询计划会按答案暴露的行数指数级放大这些变化。UDA-Bench 上，只有百分之几的提取值变了，但约三分之二的最终答案变了，因为一个提取值的变化会连锁改变后续所有判断。 对现有评测结论的冲击 SemBench 已发表的结果里，21% 的文本答案在不同执行间质量不同，包括那些引擎计划是确定性的情况。多个逐查询的系统对比，以及 LRO-Bench 的 28 项实现建议测试中的 16 项，单靠评测跑的那几次执行无法定论。这意味着许多已发表的结论可能只是单次执行的偶然结果。 波动的规律与缓解 波动行恰好是模型之间意见不一的行；同一次执行内对同一行的两次请求，分歧频率与跨执行相当。单次执行的决策置信度或推理长度可以预测哪些行会变。投票能降低方差但消除不了；一个校准过的级联（calibrated cascade）能保持其保证，但返回的行仍然会变。论文据此推导了基准测试的报告规则和引擎的设计规则。 值得注意 论文只基于摘要，没有看到具体的实验设置细节（如使用了哪些模型、查询计划的类型、投票的具体实现方式）。摘要声称“温度 0 下仍有波动”，但未说明是否检查了…