PoEM：从已有策略预测 RL 输出
来自 arXiv · 期号 2026-09-25
摘要
强化学习后训练计算量大、不稳定，且每次换奖励函数都要从头跑。 PoEM 提出一个新思路：用一组已经在其他奖励上训练好的模型，预测新奖励函数的 RL 输出，而不实际运行 RL。 核心发现是：如果新奖励是已有奖励的线性组合，那么新策略的对数空间也是已有对数策略的线性组合。即使奖励之间没有线性关系，对数策略也往往张成一个近似低秩子空间。组合系数只需用奖励或基策略在样本上的输出就能估计。 实验覆盖了文本和图像模态的合成与真实奖励。
深读
导读 强化学习后训练是当前大模型对齐的关键步骤，但每次更换奖励函数都需要从头跑一遍RL，计算成本极高。这篇论文提出PoEM框架，尝试用一组已在其他奖励上训练好的模型来预测新奖励函数的RL输出，从而完全跳过实际RL训练。核心洞察是：对数空间下的策略往往张成一个近似低秩子空间，组合系数仅需奖励或基策略在样本上的输出即可估计。对于关注大模型训练效率的从业者，这是一个可能改变后训练流程的新思路。 关键信息 - PoEM的核心理论发现：如果新奖励函数是已有奖励的线性组合，那么新策略在log-space中也是已有log-policy的线性组合。 - 即使奖励之间没有线性关系，RL训练得到的log-policy也往往张成一个近似低秩子空间。 - 组合系数的估计仅需奖励函数或基策略在样本上的输出，无需额外RL训练。 - 实验覆盖了文本和图像两种模态，包含合成奖励与真实奖励。 - 作者来自Cornell University，论文发表于arXiv。 逐节讲解 问题背景：RL后训练的计算瓶颈 基础模型在预训练之后，通常需要通过强化学习进行后训练以最大化特定奖励，例如人类对齐、正确性或指令遵循。这个过程计算量巨大、有时不稳定，并且每次奖励模型改变或需要组合多个奖励时，都必须从头运行RL。这引出了核心问题：给定一个新的奖励函数，能否在不实际运行RL的情况下预测其输出结果？ PoEM的核心方法：利用已有策略预测新策略 PoEM的出发点是：假设已经有一组在其他奖励上训练好的模型（基策略）。首先，论文从理论上证明，如果新奖励函数可以写成已有奖励的线性组合，那么新策略在log-space中也可以写成已有log-policy的线性组合。更令人惊讶的是，即使在奖励之间没有线性关系的情况下，RL训练得到的log-policy也往往张成一个近似低秩子空间。这意味着，只需要估计出组合系数，就能近似得到新策略。而系数的估计仅需奖励函数或基策略在样本上的输出即可完成。 算法与实验验证 基于上述观察，PoEM的算法流程是：输入一组已后训练的模型和一个新的奖励函数，输出近似目标RL策略，全程无需运行任何额外的RL训练。论文在文本和图像两种模态上，使用合成奖励和真实奖励进行了实验验证，结果支持了该方法的有效性。 值得注意 - 原文只有摘要，没有提供具体的实验设置、基准方法、量化结果或失败案例。PoEM在什么条件下有效、在什么条件下失效，以及近似策略与真实RL策略之间的性能差距有多大，这些关键信息在可见部分均未给出。 - 核心假设——log-policy张成近似低秩子空间，在更复杂、更高维的奖励空间或更大规模模型上是否仍然成立，原文摘要未涉及。