代码文档对 agent 的帮助：一个负结果
来自 arXiv · 期号 2026-09-26
摘要
代码文档能否帮助 AI agent 解决软件问题？ 研究者设计了一个「往返」评测方法：先让模型为代码写描述，再用描述重新生成代码，看能否通过原测试。他们发现，描述的质量取决于信息完整度，而非长度。 基于这个评测信号，他们优化出了一套能写出高保真描述的 prompt，且能泛化到未见过的文件。 但关键结果是负面的：在 10 个仓库、两个模型家族上，更好的文档并没有帮助 agent 解决真实 issue。当源代码本身存在时，无论是静态文档还是检索到的上下文，都不比只给 issue 描述更强。 论文附带了评测基准和优化器，并划定了文档真正起作用的边界。