Harness-of-Harness：多日自主软件开发
来自 arXiv · 期号 2026-09-02
摘要
自主软件开发的目标是让 LLM 编码 agent 把高层需求直接变成可用的软件系统，但现有方案往往一次跑完就结束，无法持续改进。 HoH 框架把已有的 agent 编排工具（harness）组织成迭代的「规划-编码-测试」循环。它不规定 agent 具体怎么干活，而是通过几个设计来保证每次循环都有进步：把开发拆成可验证的小增量、区分实现时测试和独立评估、鼓励复用已有成果而非重写、维护版本历史。 在 GameCraft-Bench、FrontierSWE 和 ProgramBench 上，用 Codex/GPT-5.5、OpenCode/DeepSeek-V4-Pro 和 Pi/MiniMax-M3 三组组合测试，HoH 三轮迭代后平均比单次运行提升 52.25%，最高 82.86%。一次超过 70 轮的多日部署中，它自主开发了一款第一人称射击游戏，包含完整剧情、核心玩法、可玩体验和音画效果。 论文附了开源代码和项目页面。