画起来便宜，信起来贵：认证测试时缩放曲线
来自 arXiv · 期号 2026-10-01
摘要
测试时通过多次采样并用验证器选最佳答案，是提升准确率的简单方法。效果通常画成一条 scaling curve：准确率随采样数 k 变化。 画这条曲线很便宜，但相信它很贵。因为预算是在看过所有点之后才选的，要保护这个选择，必须用一个能覆盖所有预算的置信带。在 100 道题的 benchmark 上，用精确二项式设计来认证 64 个预算、精度 ±1/32、置信度 95%，需要生成 192,000 个答案。 大部分成本花在了错误的不确定性上。benchmark 是固定题目列表；在预算 64 时，所选答案正确性的方差约四分之三来自题目之间。如果审计重新访问每道题，这部分方差就不需要支付。 本文推导了认证整条曲线的最小最大成本（忽略对数因子），分为三部分：校准分数分布的尾部、区分不同题目、以及沿曲线累加的题目内噪声。在单个 benchmark 上，最后一部分可以收紧为：在最优答案分配下，单个答案影响力的方差。每个有效审计都必须支付这个成本，而能学习最优分配的审计，在精度增长时（差一个对数因子）就能达到。 作者提出了一种配对审计方法，基于同一题目两次独立采样的指数不等式，不需要预实验。在 185 个保留的分数池上，64 个预算时它只用了最便宜竞争认证方法 0.74 倍的答案，1024 预算时是 0.53 倍。在一项新生成的 MMLU-Pro 研究中，它用 79,133 个答案认证了曲线，与事先根据题目内方差拟合的成本定律预测值相差不到 0.6%。 同样的方法可以认证 pass@k 和多数投票，置信带可以扩展到题目总体和依赖先前答案的采样场景。 论文附了理论推导和实验验证。
深读
导读 这篇论文戳破了一个看似矛盾的现实：画一条测试时缩放曲线（accuracy vs. k）很便宜，但想以统计置信度“认证”整条曲线，即保证你选出的预算点确实有效，成本高得惊人。它推导了认证整条曲线的最小必要成本，并给出一种配对审计方法，在 MMLU-Pro 上仅用 79,133 个答案就完成了认证，成本接近理论下限。对于任何依赖多次采样提升准确率的系统（如 LLM 推理），这篇论文给出了“你的置信度到底值多少钱”的精确账单。 关键信息 - 在 100 道题的 benchmark 上，用精确二项式设计认证 64 个预算点、精度 ±1/32、置信度 95%，需要生成 192,000 个答案。 - 预算 k=64 时，所选答案正确性的方差中，约 四分之三 来自题目之间的差异（between-question variance），而非题目内的随机性。 - 论文提出的配对审计方法，在 185 个保留分数池上，认证 64 个预算时仅需 0.74 倍 最便宜竞争方法的答案数；认证 1,024 个预算时降至 0.53 倍。 - 在 MMLU-Pro 上，该方法用 79,133 个答案完成了整条曲线的认证，与基于题目内方差预先拟合的成本定律预测值相差仅 0.6%。 逐节讲解 问题：画曲线便宜，认证曲线昂贵 测试时通过多次采样并用验证器选最佳答案，是提升准确率的简单方法。效果通常画成一条 scaling curve：准确率随采样数 k 变化。问题在于，预算是在看过所有点之后才选的，要保护这个选择，必须使用一个能覆盖所有预算的置信带。在 100 道题的 benchmark 上，用精确二项式设计来认证 64 个预算、精度 ±1/32、置信度 95%，需要生成 192,000 个答案。大部分成本花在了错误的不确定性上——benchmark 是固定题目列表，在预算 64 时，所选答案正确性的方差约四分之三来自题目之间。如果审计重新访问每道题，这部分方差就不需要支付。 理论：认证整条曲线的最小成本 论文推导了认证整条曲线的最小最大成本（忽略对数因子），分为三部分：校准分数分布的尾部、区分不同题目、以及沿曲线累加的题目内噪声。在单个 benchmark 上，最后一部分可以收紧为：在最优答案分配下，单个答案的影响的方差。每个有效审计都必须支付这一成本，而一个能学习最优分配的审计，随着精度增长，可以（在对数因子内）达到这一下限。 方法：配对审计 论文构建了一种配对审计方法，基于同一题目两次独立采样的指数不等式，无需预实验（pilot）。在 185 个保留分数池上，它认证 64 个预算时仅需最便宜竞争方法的 0.74 倍答案数，认证 1,024 个预算时降至 0.53 倍。在 MMLU-Pro 上，该方法用 79,133 个答案完成了整条曲线的认证，与基于题目内方差预先拟合的成本定律预测值相差…