面向质量多样性的行为基础模型
来自 arXiv · 期号 2026-09-29
摘要
强化学习中的行为基础模型（BFM）能像大语言模型一样，从潜空间中提取行为结构，实现零样本泛化。 但BFM本身只解决「给定任务怎么做」，不解决「还能做什么」。本文提出BFM-QD框架，把BFM的紧凑潜空间当作搜索空间，用质量多样性（QD）方法在里面找出一大套行为多样且性能高的策略。 关键贡献是一个闭式、免梯度的策略改进算子：它近似策略梯度更新，但不需要训练critic，也不需要反向传播。 在连续控制基准（密集运动、稀疏导航、接触式操作）上，BFM-QD全面超过直接在参数空间做QD的基线。在稀疏和欺骗性环境中，参数空间QD全部坍缩到接近零性能，BFM-QD仍能保持有效搜索。 论文附了开源代码。
深读
导读 强化学习中的行为基础模型（BFM）能从潜空间中提取行为结构，实现零样本泛化。这篇论文提出 BFM-QD 框架，将 BFM 的紧凑潜空间作为搜索空间，用质量多样性（QD）方法在其中发现大量行为多样且高性能的策略。关键贡献是一个闭式、免梯度的策略改进算子，无需训练 critic 和反向传播。 关键信息 - BFM-QD 在连续控制基准（密集运动、稀疏导航、接触式操作）上全面超过直接在参数空间做 QD 的基线。 - 在稀疏和欺骗性环境中，所有测试的参数空间 QD 方法均坍缩到接近零性能，而 BFM-QD 仍能保持有效搜索。 - 核心创新是一个闭式、免梯度的策略改进算子，它近似策略梯度更新，但不需要训练 critic 和反向传播。 - 论文附了开源代码。 逐节讲解 行为基础模型与 QD 的结合动机 行为基础模型（BFM）是强化学习中的新兴范式，类似于自然语言处理中的大语言模型：它们通过利用潜空间的结构，展现出零样本性能、快速模仿和在线适应等能力。但 BFM 本身只解决“给定任务怎么做”，不解决“还能做什么”。本文研究 BFM 诱导的潜行为空间能否作为有效的搜索空间，通过质量多样性（QD）方法发现大量行为多样且高性能的策略。 BFM-QD 框架与策略改进算子 QD 方法通常直接在策略参数的高维空间中搜索。本文提出的 BFM-QD 框架将 QD 搜索转移到 BFM 的紧凑潜空间中进行。框架还提供了一个闭式、免梯度的策略改进算子：它近似策略梯度更新，但不需要训练 critic，也不需要反向传播。 实验验证与结论 在连续控制基准上，包括密集运动、稀疏导航和接触式操作，BFM-QD 持续优于参数空间基线。在稀疏和欺骗性环境中，所有测试的参数空间 QD 方法都坍缩到接近零性能，而 BFM-QD 仍能保持有效搜索。结果表明，BFM-QD 框架受益于搜索空间的降维和来自多样化行为数据的离线预训练之间的协同作用。这使 BFM 成为 QD 优化的通用骨干，将其用途从零样本任务解决扩展到发现多样化的行为库。 值得注意 论文基于摘要，未提供实验的具体数值（如性能提升百分比、基准测试的具体名称）、BFM 的架构细节，以及策略改进算子的数学推导。这些内容需要阅读全文才能获得。