cua-speedrun：计算机使用智能体的标准化速度基
来自 arXiv · 期号 2026-10-01
摘要
计算机使用智能体（CUA）在标准基准上已超越人类，但速度和成本是部署瓶颈。现有基准因基础设施不统一而面临可复现性危机。 cua-speedrun 提出标准化方案：统一虚拟机设置、执行流水线和通用智能体接口，让同一套代码跨不同基准运行。在四个基准上评估后发现：没有单一模型在性能、速度和成本三者上同时最优；开源权重模型均不在前沿；增加推理时间反而可能加速任务完成，而更快的环境 I/O 反而可能拖慢整体耗时。 论文还证明，多数 CUA 基准的评测任务集可以大幅缩减而不损失统计效力。代码和基础设施已开源。
深读
导读 计算机使用智能体（CUA）在标准基准上已超越人类，但速度和成本是实际部署的关键瓶颈。这篇论文指出，现有 CUA 基准因基础设施不统一而面临可复现性危机，并提出了标准化方案 cua-speedrun。读完可以了解当前 CUA 在性能、速度和成本三者间的真实权衡，以及哪些模型处于前沿。 关键信息 - 论文提出 cua-speedrun，统一了虚拟机设置、执行流水线和通用智能体接口，使同一套智能体代码能跨不同基准运行。 - 在四个 CUA 基准上的评估显示：没有单一模型家族在性能、速度和成本上同时最优。 - 所有开源权重模型均不在前沿（frontier）之列。 - 对某些模型，增加推理时间（reasoning effort）反而能加速任务完成；而更快的环境 I/O 反而可能拖慢整体耗时。 - 多数 CUA 基准的评测任务集可以大幅缩减而不损失统计效力。 - 所有代码、基础设施和分析已开源在 cuaspeedrun.com。 逐节讲解 问题：CUA 速度评估面临可复现性危机 计算机使用智能体（CUA）通过图形用户界面（GUI）在计算机上完成任务，已在多个标准基准上超越人类表现。然而，速度和成本是阻碍其广泛部署的关键障碍。现有 CUA 基准基于复杂的基础设施，机器和容器配置各不相同，导致执行速度的评估难以复现。 方案：cua-speedrun 标准化基础设施 论文提出 cua-speedrun，通过统一的虚拟机设置和执行流水线，以及一个通用智能体接口，让同一套智能体实现可以无缝地在不同基准上运行。该方案的核心目标是标准化评估 CUA 的速度和效率。 发现：性能、速度与成本三者不可兼得 在四个不同 CUA 基准上，论文评估了推理努力（reasoning effort）、智能体框架（agent harnesses）和环境延迟（environment latency）对性能、速度和成本的影响。主要发现包括：没有单一模型家族能在三者上同时最优；开源权重模型均不在前沿；反直觉的是，对某些模型增加推理努力反而能加速任务完成，而更快的环境 I/O 反而可能拖慢整体任务完成时间。 优化：可缩减评测任务集 论文还证明，大多数 CUA 基准的评测任务集可以大幅缩减，而不会降低整体统计效力，从而支持更高效的基准测试和模型比较。 值得注意 由于原文为论文摘要，内容仅覆盖了 cua-speedrun 的核心主张和主要发现，未提供具体模型名称、基准名称、性能数字或成本数值。例如，“没有单一模型家族最优”和“开源权重模型不在前沿”等结论均未给出具体对比数据。更详细的实验设置、模型列表和量化结果需要阅读论文全文。