LEASH：不确定性驱动的弱到强升级与监督
来自 arXiv · 期号 2026-10-16
摘要
计算机操作 agent 处理长任务时，全程调用前沿模型太贵，只用小模型又容易失败。弱到强升级策略试图折中：默认让小模型干活，只在必要时交给大模型。 核心难题是判断「什么时候该升级」，需要一个每步都能低成本计算的 uncertainty 信号。而且即使交出去了，大模型也可能跑偏，但大模型通常是黑盒 API，内部状态不可见。 LEASH 是一个免训练的框架，三层都用弱模型的隐层不确定性来驱动：(1) 初始任务不确定性做早期路由，(2) 每步不确定性做运行时升级，(3) 交出去后用一个影子观察者持续监督黑盒大模型。不确定性通过比较弱模型当前隐状态与它过去成功/失败轨迹的隐状态来估算，复用推理时已有的激活值，不需要额外前向传播或训练。 在 OSWorld 上四个模型骨干的实验中，LEASH 一致优于单独使用弱模型，在相同升级率下比随机升级高 6.55–11.94 分。用 Qwen3.5-35B-A3B 时达到 73.66% 任务成功率，每任务成本 $0.4117，追平始终调用 Claude Opus 5 的 72.90%，推理成本降低 19.2%。
深读
导读 计算机操作 agent 执行长任务时，全程调用前沿模型成本过高，仅用小模型又容易失败。LEASH 提出一种免训练的弱到强升级框架，通过复用弱模型推理时的隐层不确定性信号，在三个层面决定何时升级、升级后如何监督，在 OSWorld 上以不到 20% 的额外推理成本达到了与顶级闭源模型相当的任务成功率。 关键信息 - LEASH 在 OSWorld 上使用四个当代模型骨干进行实验，一致优于单独使用弱模型，在相同升级率下比随机升级高出 6.55–11.94 分。 - 使用 Qwen3.5-35B-A3B 时，LEASH 以每任务 0.4117 美元的成本达到 73.66% 的任务成功率，与始终调用 Claude Opus 5 的 72.90% 相当，同时推理成本降低 19.2%。 - LEASH 的不确定性估算通过比较弱模型当前隐状态与其过去成功/失败轨迹的隐状态来实现，复用推理时已有的激活值，无需额外前向传播或专用监控模型训练。 - 该框架包含三层：初始任务不确定性用于早期路由、每步不确定性用于运行时升级、以及升级后对黑盒大模型持续监督的影子观察者。 逐节讲解 问题背景与核心挑战 计算机操作 agent 越来越多地处理长周期任务。全程调用前沿模型（如 Claude Opus）成本太高，而仅靠小型开放权重模型又容易失败。弱到强升级策略试图折中：默认让小模型执行，只在必要时交给大模型。核心难题在于判断「什么时候该升级」—— 需要一个每步都能低成本计算的 uncertainty 信号。此外，即使升级后，大模型也可能跑偏，但大模型通常以黑盒 API 形式提供，内部状态不可见，无法直接监控。 LEASH 的三层框架 LEASH 是一个免训练框架，仅在弱模型的隐层不确定性信号表明需要升级时才启用强模型，并在升级后持续监督它。三层设计如下： 1. 初始任务不确定性用于早期路由：在任务开始前，根据任务本身的不确定性决定是否直接交给强模型。 2. 每步不确定性用于运行时升级：在弱模型执行过程中，每一步都计算当前状态的不确定性，一旦超过阈值就触发升级。 3. 影子观察者用于持续监督：升级后，弱模型作为影子观察者继续监控黑盒强模型的行为，若强模型再次陷入不确定状态则介入。 所有三层的不确定性信号都来自同一个来源：比较弱模型当前隐状态与其过去成功/失败轨迹的隐状态。当前状态越像失败轨迹中的状态，不确定性越高。由于不确定性估算复用了弱模型推理时已经产生的激活值，因此不需要额外的前向传播或专门的监控模型训练。 实验设置与结果 实验在 OSWorld 基准上进行，覆盖四个当代模型骨干。LEASH 一致优于单独使用弱模型，在相同升级率下比随机升级高出 6.55–11.94 分。以 Qwen3.5-35B-A3B 为例，LEASH 以每任务 0.4117 美元的成本达到 73.66% 的任…