编码 agent 的评测分数有多少来自框架

摘要

编码 agent 的评测结果，有多少来自 agent 本身，又有多少来自测试框架？这篇论文发现，框架差异对最终分数的影响，有时比模型选择还大。同一模型换一个框架，分数能差 30% 以上。有评论指出，这个结果说明当前 agent 评测的基准线很不稳定，跨论文比较分数几乎没有意义。