LLM 排行榜对隐藏模型选择的敏感度
来自 arXiv · 期号 2026-09-23
摘要
LLM 排行榜上的名次提升，可能只是从多个隐藏变体中挑出最好结果，而非模型本身真有进步。 本文提出一个灵敏度曲线：给定一个公开的分数差距，最多允许多少个隐藏变体，才能仍认为这个差距有统计意义。这个上限取决于变体间的相关性——而相关性又因评分方式不同而差异巨大：同一模型族内，逐题得分的相关系数高达 0.90，但综合分数在题目重采样下只有 0.46。 作者用 Open LLM Leaderboard 上 394 对相邻排名的声明做审计，发现其中 391 对在未做任何多重比较校正时就已经不显著。剩下的 3 对能否通过认证，还取决于对隐藏变体相关性的假设。 论文附了开源代码。