IdeaAMBIG：研究论文方法规格的缺陷定位基准
来自 arXiv · 期号 2026-09-10
摘要
一篇研究论文可能新颖、自洽、科学上合理，但提出的方法可能仍然缺少足够细节，无法被忠实地复现实现。 作者提出了 IdeaAMBIG 基准，包含 660 个实例：163 个来自复现报告和 GitHub issue 的真实缺陷，497 个注入到完整参考文档中的受控合成缺陷。基准评估三种能力：可编码性评估、缺陷定位、澄清动作生成。 在 13 个 LLM 中，最好的模型在真实实例上的 Macro Defect Recovery Rate 只有 9.6%，但在给定缺陷后，Macro Clarification Action Success Rate 达到 80.6%。一项 oracle 实验表明，提供正确的解决方案后，下游的可编码率从 14% 提升到 98%。在所有评估的模型中，缺陷定位是主要瓶颈。