OSWorld-Pro：面向计算机使用智能体的过程式评测
来自 arXiv · 期号 2026-09-22
摘要
现有的计算机使用智能体（CUA）评测只看最终结果，无法揭示失败原因。 OSWorld-Pro 提出了过程式评测：300 多个任务拆成 2800 多个子目标，每个子目标由人工标注的 LLM 裁判判断是否完成。 顶级模型 Claude Opus 5 在 OSWorld-Pro 上得分 75.7%，低于其在原版 OSWorld 上的 83.4%。评测还暴露了不同模型的典型失败模式，比如子目标无关动作和点击错误。