QF3：用过滤 Q 梯度的快速流 RL
来自 arXiv · 期号 2026-10-07
摘要
机器人策略学习里，流策略（flow policy）已经是从演示中学习行为的标准方法，但强化学习（RL）对进一步提升或从头训练仍然关键。 QF3 是一种在线离策略 RL 算法，核心思路是：用流匹配加上评论家（critic）的动作梯度来训练流策略，但这个梯度只回传到流输出的一步预测上。为了不让更新跑到评论家或预测不可靠的区域，QF3 只对接近回放池中已有动作的维度施加评论家梯度。 据作者称，QF3 是第一个用离策略流 RL 从头训练人形机器人行走策略、并零样本迁移到真机的算法。配合高吞吐离策略训练方案，它在人形机器人行走和运动跟踪任务上比近期在策略方法 FPO++ 快 10 倍（墙钟时间）。在 ABC-Sim 和 Robomimic 的操控任务上，QF3 也能微调预训练的流策略。 论文附了开源代码和演示视频。
深读
导读 机器人策略学习领域，流策略已成为从演示中学习行为的标准方法，但强化学习对于进一步提升或从头训练仍不可或缺。QF3 提出了一种在线离策略 RL 算法，通过将评论家的动作梯度仅回传到流输出的一步预测，并过滤掉不可靠区域的梯度，首次实现了用离策略流 RL 从头训练人形机器人行走策略并零样本迁移到真机。读完可了解一种兼顾流策略表达力与 RL 训练效率的新算法设计思路。 关键信息 - QF3 是第一个用离策略流 RL 从头训练人形机器人行走策略、并零样本迁移到真机的算法。 - 在人形机器人行走和运动跟踪任务上，QF3 比近期在策略方法 FPO++ 快 10 倍（墙钟时间）。 - QF3 的核心设计：用流匹配加上评论家的动作梯度训练流策略，但梯度只回传到流输出的一步预测上，且只对接近回放池中已有动作的维度施加评论家梯度。 - 在 ABC-Sim 和 Robomimic 的操控任务上，QF3 也能微调预训练的流策略。 逐节讲解 问题背景：流策略与强化学习的结合 流策略已成为从演示中学习机器人行为的标准策略类，但强化学习对于改进预训练的流策略或从头通过交互学习仍然至关重要。现有方法中，在策略 RL 采样效率低，而离策略 RL 与流策略的结合面临训练不稳定的挑战。 QF3 算法设计：过滤的 Q 梯度 QF3 是一种在线离策略 RL 算法。其核心思路是：用流匹配加上评论家（critic）的动作梯度来训练流策略，但这个梯度只回传到流输出的一步预测上。为了防止更新跑到评论家或预测不可靠的区域，QF3 只对接近回放池中已有动作的维度施加评论家梯度，即过滤掉那些可能导致策略偏离已知有效动作空间的梯度更新。 实验结果：效率与迁移能力 在人形机器人行走和运动跟踪任务上，QF3 配合高吞吐离策略训练方案，实现了比近期在策略流 RL 方法 FPO++ 快 10 倍的墙钟时间加速。据作者称，QF3 是第一个用离策略流 RL 从头训练人形机器人行走策略并零样本迁移到真机的算法。此外，在 ABC-Sim 和 Robomimic 的操控任务上，QF3 也能微调预训练的基于流的操控策略。这些结果表明 QF3 既能从头学习机器人策略，也能精炼从演示中获得的策略。 值得注意 本文为 arXiv 预印本摘要，原文正文仅 1252 字符，信息高度浓缩。算法细节（如流匹配的具体实现、评论家架构、梯度过滤的阈值设定）以及实验设置（如真机迁移的具体条件、对比基线 FPO++ 的配置）均未展开。结论建立在模拟环境和有限任务上，其通用性和在更复杂场景下的表现有待后续验证。