LLM agent 执行计划时的声明-执行鸿沟
来自 arXiv · 期号 2026-09-30
摘要
LLM agent 做长程任务时，先声明一个计划再执行。但计划声明和执行之间可能存在鸿沟：模型选对了计划却执行走样，或者选错了计划但执行得很忠实。 本文提出 Planning-as-Routing：让 LLM 从四种规划模式（Predefined、Sequential、Hierarchical、Search）中声明一种，再由一个确定性路由器把任务分发给对应的模式专用执行器。 在四个 benchmark 和三个 LLM 上，三个发现：一是通用 Plan+ReAct 在 22%–45% 的轨迹里没能保持声明的规划结构，而模式专用执行器强制保持了；二是不同模式在不同环境里表现不同——Search 在 ALFWorld 最好，Hierarchical 在 SWE-bench 最好，且同一 benchmark 内不同模型的最优模式也不同；三是最大的提升来自执行端：模式专用执行器在 ALFWorld 上把任务成功率从 0.48 提到 0.92，在 SWE-bench Verified 上从 0.36 提到 0.44。 当前 LLM 还不能可靠地选出最优模式，但 few-shot 示例在部分组合上有帮助。
深读
导读 这篇论文发现了一个被忽视的问题：LLM agent 在长程任务中“说一套做一套”——声明的计划结构和实际执行轨迹往往不一致。作者提出 Planning-as-Routing 框架，将规划声明与确定性执行器解耦，在多个 benchmark 上大幅提升了任务成功率，同时揭示了当前 LLM 在模式选择上的短板。 关键信息 - 在三个 benchmark 上，通用 Plan+ReAct 方法仅有 22%–45% 的轨迹保持了声明的规划结构，而模式专用执行器强制保持了该结构。 - 不同规划模式在不同环境中的表现各异：Search 模式在 ALFWorld 上最佳，Hierarchical 模式在 SWE-bench 上最佳，且同一 benchmark 内不同 LLM 的最优模式也不同。 - 模式专用执行器将 ALFWorld 的任务成功率从 0.48 提升至 0.92，将 SWE-bench Verified 的成功率从 0.36 提升至 0.44，提升主要来自执行端。 - 当前 LLM 无法可靠地为每个任务选择最优规划模式，但 few-shot 示例在部分 benchmark–模型组合上能改善选择效果。 逐节讲解 问题：计划声明与执行之间的鸿沟 LLM agent 解决长程任务时通常先声明一个计划再执行。但论文指出，成功规划需要两种独立能力：为任务选择合适的计划，以及忠实地执行该计划。现有 planner–executor 系统可能在任一阶段失败，而仅看最终任务成功率无法区分是选择失败还是执行失败。作者将此称为“计划声明，执行鸿沟”（Plan Declaration–Execution Gap）。 方案：Planning-as-Routing 作者提出 Planning-as-Routing 框架：LLM 从四种规划模式中声明一种——Predefined（预定义）、Sequential（顺序）、Hierarchical（分层）、Search（搜索），然后由一个确定性路由器（deterministic router）将任务分发给对应的模式专用执行器（pattern-specific executor）。这样，规划声明与执行被解耦，执行器强制保持声明的结构。 实验发现 在四个 benchmark（ALFWorld、SWE-bench 等）和三个 LLM 上，论文有三个一致发现。第一，通用 Plan+ReAct 在 22%–45% 的轨迹中未能保持声明的规划结构，且计划越长越容易走样；模式专用执行器则强制保持了该结构。第二，不同模式在不同环境和模型上表现不同——Search 在 ALFWorld 最好，Hierarchical 在 SWE-bench 最好，且同一 benchmark 内不同模型的最优模式也不同。第三，最大的提升来自执行端：模式专用执行器在 ALFW…