Forge：可扩展的 Agent RL 框架与算法
来自 MiniMax Blog · 期号 2026-02-14
摘要
MiniMax 发布内部强化学习框架 Forge，旨在解决 agent RL 中吞吐量、训练稳定性和 agent 灵活性三者之间的冲突。 Forge 通过三层模块化架构解耦 agent 逻辑与训练基础设施：Agent Side 负责轨迹生成，Middleware 层通过 Gateway 和 Data Pool 做异步缓冲，Training/Inference Side 负责模型推理与策略更新。这种设计让系统能同时训练超过十万种不同的 agent scaffold 和环境。 在 MiniMax M2.5 的训练中，Forge 处理了 200k 上下文长度和每日百万级样本的吞吐量，结合 CISPO 算法和复合奖励设计，实现了收敛并提升了模型能力。 文章还详细介绍了白盒 agent 的上下文管理（CM）训练——将 CM 作为显式动作纳入 RL 循环，消除推理-训练分布偏移——以及黑盒 agent 的多 scaffold 泛化能力。工程层面，Windowed FIFO 调度策略在吞吐量和分布一致性之间做了折中。
深读
导读 MiniMax 发布了其内部强化学习框架 Forge，旨在解决 Agent RL 中系统吞吐量、训练稳定性和 Agent 灵活性三者之间的经典冲突。该框架通过模块化架构和定制算法，支撑了 MiniMax M2.5 模型的大规模训练，是理解工业级 Agent RL 系统设计思路的一手资料。 关键信息 - Forge 采用三层模块化架构：Agent Side（轨迹生成）、Middleware 层（Gateway 和 Data Pool 异步缓冲）、Training/Inference Side（模型推理与策略更新）。 - 在 MiniMax M2.5 的训练中，Forge 处理了 200k 的上下文长度，每日吞吐量达百万级样本。 - 系统同时训练了超过十万种不同的真实 Agent scaffold 和环境。 - 通过前缀树合并（Prefix Tree Merging）技术，训练速度提升了 40 倍。 - 核心算法 CISPO 采用统一混合域训练，将推理、通用 QA 和 Agent 域的任务混合在单次训练中。 逐节讲解 问题定义与三大结构性障碍 文章首先将 Agent RL 系统的目标形式化为最大化“有效 Agent 训练产出”，该产出是系统吞吐量与样本效率的乘积，同时受稳定性和收敛性约束。作者指出，最大化该目标面临三个结构性障碍： - Agent 可扩展性与框架灵活性不足：标准 RL 框架将 Agent 视为白盒函数，与训练器共享状态，难以建模复杂的认知架构（如动态上下文管理、多 Agent 协作）。同时，Token-in/Token-out 架构将 Agent 与底层 token 逻辑紧密耦合，一旦涉及非平凡的上下文管理，计算开销巨大。 - 系统效率与计算冗余：Agent 的 rollout 时间方差极大（从秒级到小时级），严格的同步调度会导致队头阻塞，而贪婪的异步调度则会造成严重的分布偏移。此外，Agent 场景中大量请求共享相同前缀，重复计算这些前缀浪费了大量算力。 - 算法挑战：信用分配与优化稳定性：Agent 任务具有长时延和稀疏奖励的特点，在 200k 的上下文窗口内将信用归因到特定 token 或工具调用在统计上很脆弱，导致高梯度方差。同时，经典 RL 目标只优化正确性，忽略了实际场景中的延迟成本。 系统架构与 Agent RL 范式 Forge 通过三层模块化架构解耦 Agent 逻辑与训练基础设施： - Agent Side：抽象通用 Agent（包括白盒和黑盒 scaffold）及其环境，作为纯粹的轨迹生产者，对训练/推理管道保持无感知。 - Middleware 层：包含 Gateway 服务器（标准化通信端点，隐藏底层模型）和 Data Pool（分布式存储，异步收集 rollout 轨迹，实现生成与训练的缓冲）。 - Traini…