AI 时间线的估计与有效性：METR 图表的统计审视
来自 arXiv · 期号 2026-10-09
摘要
METR 的 50% 时间线衡量的是 AI 以 50% 概率解决的软件任务的人类完成时间，以此将 AI 能力转化为可解释的单位。 本文在 228 个任务和 26 个 AI 上，用样条和项目反应理论重新计算了时间线，放松了「任务难度与人类时间对数呈线性关系」的假设。拟合出的样条曲线在 2-30 分钟区间近乎平坦，其他区间接近线性。这意味着，从 3 分钟跳到 30 分钟比从 30 分钟跳到 5 小时容易得多，尽管倍数都是 10 倍。 作者贡献了在交叉验证下表现更好的时间线点估计，以及用于评估时间线结构效度的诊断图。建议在提出新的时间线基准或现有基准包含更长任务时，将时间线与诊断图一起解读。