可用护栏：跨 ML 系统的选择性预测认证
来自 arXiv · 期号 2026-09-19
摘要
AI 系统部署时，常需要一个「选择性预测器」作为安全门：只有预测足够可信时才输出结果。监管或业务要求对每个子群体（如某个工具、某个政策标签、某类患者）都达到指定的精度，才能颁发安全证书。 问题在于，校准数据是有限的。安全门设得越严、子群体分得越细，某些群体可能根本没有足够的数据来通过认证。本文把这种「可认证性」变成了一个可计算的问题：用经典二项式逆推法判断一个证书是否站得住，再把子群体划分问题建模成动态规划，在安全性、粒度和覆盖流量之间做权衡。 结果发现，如果规划者知道真实分布，平均覆盖率可以比简单的支持平衡法高出 0.157；但用有限样本估计时，这个优势几乎消失（只多出 0.005）。作者提出用两个数据拆分分别做候选划分和筛选，能恢复部分差距（提升 0.060），并在 60 组模型效果中有 59 组复现了方向。 这套方法在 LLM 工具调用、内容审核、病灶分类和推荐系统上都适用。论文附了开源代码。