CUA-Universe：面向混合 GUI+CLI
来自 arXiv · 期号 2026-09-05
摘要
现有的计算机使用 agent 大多只通过 GUI 操作，效率低且路径不自然。真实场景需要同时操控图形界面和命令行，但构建混合环境成本极高。 CUA-Universe 提出一套端到端方案：App-Forge 把真实桌面软件自动适配成可复现的虚拟机，并发现或生成其命令行接口，已扩展到 16 个应用；Task-Weave 从种子文件出发，组合可复用的操作步骤，合成难度可控的混合任务；Path-Steer 引导 agent 沿高效的混合路径执行，并收集验证过的轨迹用于后训练。 用这套数据训练的 9B 模型在 CUA-Verse 上得分提升 39.3 分，步骤减少 37%、token 减少 60%；在 OSWorld 上成功率提升 16.8 分，步骤减少 57%、token 减少 44%。 论文附了开源代码。
深读
导读 现有计算机使用 agent 大多只通过 GUI 操作，效率低且路径不自然。真实场景需要同时操控图形界面和命令行，但构建混合环境成本极高。这篇论文提出了 CUA-Universe，一套从环境到数据的端到端方案，用混合 GUI+CLI 数据训练的 9B 模型在多个 benchmark 上同时提升了成功率和效率。 关键信息 - 现有 agent 主要分为两类：CLI-native agent 缺乏视觉感知能力，GUI-native agent 在适合命令行的操作上效率低下。 - CUA-Universe 包含三个组件：App-Forge（将桌面软件适配为可复现的虚拟机并发现或生成 CLI，已扩展到 16 个应用）、Task-Weave（从种子文件出发组合可复用操作步骤，合成难度可控的混合任务）、Path-Steer（引导 agent 沿高效混合路径执行并收集验证过的轨迹用于后训练）。 - 用该数据训练的 9B 模型在 CUA-Verse 上得分提升 39.3 分，步骤减少 37%、token 减少 60%；在 OSWorld 上成功率提升 16.8 分，步骤减少 57%、token 减少 44%。 - 论文附了开源代码。 逐节讲解 问题：纯 GUI agent 效率低，混合环境构建成本高 现有计算机使用 agent 在 OSWorld、AndroidWorld 等 benchmark 上虽有进展，但大多只通过 GUI 操作，产生的轨迹往往低效。真实计算机工作是混合的，既需要视觉状态检查，也需要精确、高吞吐的命令行操作。因此 agent 必须能在共享应用状态上协调两种模态。然而，可扩展的混合环境稀缺，因为为真实应用同时支持 GUI 和 CLI 通常需要为每个应用做大量手动工程。 方案：CUA-Universe 的三组件流水线 论文提出 CUA-Universe，一个从环境到数据的可扩展流水线。App-Forge 将真实桌面软件适配为可复现的虚拟机，并自动发现、包装或生成其命令行接口，已扩展到 16 个应用。Task-Weave 从种子文件出发，组合可复用的操作步骤，合成难度可控的多样化混合任务。Path-Steer 引导 agent 沿高效的混合路径执行，并收集验证过的轨迹用于后训练。 效果：混合训练带来成功率和效率的双重提升 用这套数据训练的 9B 模型，行为从低效的 GUI 交互和脆弱的 CLI 脚本转向有效的 GUI+CLI 编排。在 CUA-Verse 上得分提升 39.3 分，步骤减少 37%、token 减少 60%；在 OSWorld 上成功率提升 16.8 分，步骤减少 57%、token 减少 44%；在 OSWorld-MCP 上得分提升 7.84 分，步骤减少 27%、token 减少 30%。 值得注意 原文是论文摘要，只给出了声称的效…