LLM 何时该弃权：链式自问自答实现选择性风险控制
来自 arXiv · 期号 2026-09-16
摘要
大语言模型在事实支撑不足时仍会流畅作答。 本文提出 Chain-of-Self-Questioning（CoSQ），一个纯 prompt 框架，让模型在回答前先显式评估所需信息是否充足。在 TruthfulQA 多选验证集上，Grounded-CoSQ（τ=0.90）将无依据作答率从 13.1% 降至 8.9%（相对降低 32.1%），同时回答准确率从 86.9% 升至 89.7%，覆盖 87.6% 的问题。这一改进在全部 11 个模型和所有评估阈值上一致成立。 论文还提供了 Natural Questions 短答案评测作为开放形式的收敛证据。当错误承诺的代价高于转交或复核时，自我评估可以支持显式、可调的作答或弃权决策。
深读
导读 大语言模型在事实支撑不足时仍会流畅作答，这种“自信的胡说”是部署中的核心风险。这篇论文提出 Chain-of-Self-Questioning（CoSQ），一个纯 prompt 框架，让模型在回答前先显式评估所需信息是否充足，从而在可控范围内选择作答或弃权。读完能带走一种无需微调、可调阈值的风险控制方法，以及它在 11 个模型上一致的实证效果。 关键信息 - 在 TruthfulQA 多选验证集（817 题）上，Grounded-CoSQ（τ=0.90）将无依据作答率从 13.1%（chain-of-thought 基线）降至 8.9%，相对降低 32.1%。 - 同一设置下，回答准确率从 86.9% 升至 89.7%，覆盖 87.6% 的问题。 - 改进在全部 11 个模型（包括开源与托管模型族）和所有评估阈值上一致成立。 - 另两个变体 Critical-CoSQ 和 Adaptive-CoSQ 分别覆盖 88.6% 和 86.5% 的问题，可靠性均优于基线。 - 论文还提供了 Natural Questions 短答案评测作为开放形式的收敛证据。 逐节讲解 问题：模型在信息不足时仍会作答 大语言模型在缺乏事实支撑时仍能生成流畅的答案，这种“无依据承诺”（wrong commitment）在需要高可靠性的场景中代价高昂。现有方法多依赖外部检索或模型微调，而这篇论文探索的是纯 prompt 层面的自我评估方案。 方法：Chain-of-Self-Questioning（CoSQ） CoSQ 是一个纯 prompt 框架，不依赖外部工具或微调。核心思路是让模型在给出最终答案前，先显式地自我提问并评估：回答当前问题需要哪些信息，这些信息是否已具备。评估结果通过一个阈值 τ 来控制是否作答：只有当自我评估的置信度超过 τ 时，模型才输出答案，否则选择弃权。 论文设计了三个变体： - Grounded-CoSQ：要求模型基于已有知识给出有依据的答案，是主要评估对象。 - Critical-CoSQ：侧重批判性自我检查，评估信息缺口。 - Adaptive-CoSQ：根据问题难度动态调整评估策略。 实验与结果 主要实验在 TruthfulQA 多选验证集上进行，对比基线是 chain-of-thought prompting。Grounded-CoSQ 在 τ=0.90 时取得最佳平衡：无依据作答率从 13.1% 降至 8.9%，同时回答准确率从 86.9% 升至 89.7%，覆盖 87.6% 的问题。这一模式在全部 11 个模型上一致成立，且在不同阈值下均优于基线。Critical-CoSQ 和 Adaptive-CoSQ 则提供了不同的覆盖率与可靠性权衡点。 作为补充，Natural Questions 短答案评测提供了开放形式下的收敛证据，表明该方法不局…