Import AI 453
来自 Import AI · 期号 2026-04-13
摘要
AI 评测机构 METR 与 Epoch 发布 MirrorCode 基准，测试 AI 模型自主重写复杂现有软件的能力。 每项任务给 AI 一个 CLI 程序的可执行权限和可见测试用例，但不给源码，要求它精确复现。基准包含 20 多个目标程序，涵盖 Unix 工具、数据序列化、生物信息学、解释器、静态分析、密码学与压缩。 结果：Claude Opus 4.6 成功重写了 gotree——一个约 16,000 行 Go 代码、含 40 多个命令的生物信息学工具包。研究人员估计，人类工程师不用 AI 辅助完成同样任务需要 2-17 周。性能还随推理计算量增长，给更多 token 就能解决更大的项目。 局限：这更像一个「AI 能在大量辅助下模仿其他系统功能」的证明点，而非普通编程测试。测试程序能产生规范输出（自然生成规格说明），基础程序可能存在记忆，且只覆盖了软件项目的一小部分。