复现 2200 篇 ICML 论文，我们学到了什么
来自 Hugging Face · 期号 2026-08-13
摘要
Hugging Face 在 7 月举办了一场 19 天的黑客松，1200 多名参与者用自己的 coding agent 复现了 ICML 2026 的 2226 篇论文。 自动裁判（基于 GLM-5.2）对每篇论文的每个核心主张给出判定：68% 被验证，12% 被证伪，20% 为玩具规模或无法判断。一篇被接收为 spotlight 的论文，其核心证明在仔细检查后被证伪。 这次实验说明，AI agent 已经能把论文复现从周末级降到下午级，但人类仍然需要介入解释结果、处理边界情况。原文附了完整的复现流程与工具链。
深读
导读 Hugging Face 在 2025 年 7 月举办了一场为期 19 天的黑客松，1200 多名参与者用自己的 coding agent 对 ICML 2026 的 2226 篇论文进行了逐条主张复现。结果发现 23% 的论文至少有一条主张被证伪或质疑，包括一篇 spotlight 论文的核心证明被推翻。这场实验展示了 AI agent 将论文复现从周末级压缩到下午级的能力，也划清了人类仍需介入的边界。 关键信息 - 参与者共 1221 人，19 天内发布了 6816 份复现日志，覆盖 ICML 2026 全部 6341 篇论文中的 2226 篇（34%）。 - 自动裁判（基于 GLM-5.2）对 35908 条独立主张给出判定：51% 的论文至少有一条主张被验证，23% 至少有一条被证伪或质疑。 - 一篇被接收为 spotlight 的论文《Towards Optimal Robustness in Learning-Augmented Paging》声称其算法达到 H_k + O(1) 的鲁棒性，复现发现加性项实际以 0.38 ln k 增长，真实鲁棒性为 H_k + Θ(log k)。 - 另一篇论文《Attention's Forward Pass and Frank-Wolfe》的定理在三组独立复现中被发现反例，违反最早出现在第 224 步，解释了为何有限时间检查会误判为「验证通过」。 - 《Self-Distillation Enables Continual Learning》的理论部分分析的是反向 KL 散度，但发布代码的默认配置（也是论文所有结果的实际来源）计算的是前向 KL，复现未能复现其声称的 +4pp 结果。 - 一篇关于三投影的论文中，约 66% 的被评估标签位置是 EOS 填充 token，其损失趋近于零，导致困惑度被低估约三倍，修正后「3.1% 质量成本」变为约 9.4%。 逐节讲解 复现实验的规模与动机 ICML 2026 收到 23918 篇投稿，接收 6352 篇，数量较前一年翻倍。审稿能力并未同步增长，一位审稿人对某篇 spotlight 论文的评语是「低置信度是因为我没有仔细检查所有证明」。Hugging Face 的出发点是：既然 AI agent 推动了论文数量暴增，它也可以用来应对审稿压力。coding agent（Claude Code、Codex、Cursor 等）现在可以读论文、写代码、跑实验并汇报结果，将过去需要一整个周末的检查压缩到一个下午。 黑客松的运作机制 活动从 7 月 15 日到 8 月 2 日。流程是：参与者从已索引的 6341 篇论文中选一篇（每篇的核心主张已被提取），自带 agent 进行复现，所有产出（代码、产物、可选的完整 agent 执行轨迹）发布为 Trackio 日志。自…