如何构建长周期 AI agent
来自 The MAD Podcast with Matt Turck · 期号 2026-08-06
摘要
AI agent 能写几小时代码，但放到真实经济里干活就会出问题。Basis 联合创始人 Mitch Troyanovsky 认为，解决可靠性的关键不是评估最终结果，而是监督执行过程。 Basis 的 agent 可以自主运行数小时甚至数天，完整处理复杂的税务申报。Mitch 回顾了从 ReAct、AutoGPT 崩溃到推理模型和 RLVR 的完整历程，指出行业在 2023 年放弃了过程监督，现在正以完全不同的规模回归。 他提出了“行为规范”（Behavior Specs）的概念——用 Markdown 定义 agent 在整个轨迹中的行为，由 judge-as-agent 架构进行评估，不需要 ground truth。Basis 刚与 Braintrust 开源了这一标准。 “上下文就是运行时的训练数据。”文档必须像代码库一样管理，本体论是“agent 居住的世界”。Basis 雇佣哲学专业毕业生担任“语言架构师”，负责编写 agent 能精确理解的操作说明。 部署 agent 就像“入职 300 个聪明的外星员工”——它们没有人类常识，需要极其精确的上下文。Mitch 认为，自 o3 以来没有发生范式级别的变化，真正的瓶颈在于如何设计信号回路：上下文、工具和 harness。 这个判断站得住，因为 Basis 的 agent 已经在税务领域完成了数千次端到端执行，而税务是出了名的高风险、多步骤、需要严格合规的场景。
深读
导读 原文信息有限，以下基于节目简介。这是一场关于构建长周期 AI agent 的深度对话，嘉宾是独角兽公司 Basis 的联合创始人 Mitch Troyanovsky。Basis 的 agent 能自主运行数小时甚至数天，完整处理复杂的税务申报。核心观点是：解决 agent 可靠性的关键不在于评估最终结果，而在于监督执行过程。读完能带走一套关于过程监督、行为规范（Behavior Specs）和 agent 架构设计的系统思路。 关键信息 - Basis 的 agent 可以自主运行数小时甚至数天，端到端完成复杂的税务申报。 - Mitch 提出了“行为规范”（Behavior Specs）的概念，用 Markdown 定义 agent 在整个轨迹中的行为，由 judge-as-agent 架构进行评估，不需要 ground truth。 - Basis 与 Braintrust 开源了这一行为规范标准。 - Mitch 认为“上下文就是运行时的训练数据”，文档必须像代码库一样管理，本体论是“agent 居住的世界”。 - Basis 雇佣哲学专业毕业生担任“语言架构师”（Language Architects），专门为 agent 的运行时解释编写文档。 - Mitch 将部署 agent 比作“入职 300 个聪明但毫无背景的外星员工”。 逐节讲解 长周期 agent 的定义与挑战 当 agent 的运行时间超过上下文窗口的容量时，就进入了长周期范畴。Basis 的 agent 可以执行持续数天的自主轨迹。Mitch 指出，长周期 agent 面临的核心问题是错误累积，早期步骤中的小错误会在后续步骤中被放大，最终导致整个任务失败。这正是 AutoGPT 和 BabyAGI 在 2023 年崩溃的根本原因：它们缺乏有效的状态管理和错误恢复机制。 从 ReAct 到推理模型：三个范式转变 Mitch 回顾了 agent 架构的演进历程。从最初的 ReAct 模式（推理+行动循环），到 2023 年 AutoGPT 的失败，再到推理模型（如 Opus 3、o1、o3）的出现。他认为这三个模型代表了真正的范式转变。关键洞察是：推理必须能够调节自己的状态，而不是简单地按顺序执行。行业在 2023 年放弃了过程监督，现在正以完全不同的规模回归。 过程奖励 vs. 结果奖励 Mitch 引用了“Let's Verify Step by Step”的思路，强调过程监督比结果监督更重要。他指出，RLVR（基于验证的强化学习）虽然有效，但 METR 曲线（衡量 agent 可靠性的指标）实际上高估了可靠性。真正的挑战在于：在真实经济场景中，很多任务没有 ground truth，没有廉价的验证手段，也没有现成的数据。这正是代码任务在 agent 领域率先成功的原因，代码…