规划学习
来自 arXiv · 期号 2026-10-03
摘要
策略梯度方法是现代强化学习的核心，包括 LLM 的后训练。分类任务没有强化学习的常见难题（探索、信用分配、动作采样噪声），因为正确标签已知，策略梯度是精确且平滑的。 但精确策略梯度在期望准确率上输给了交叉熵。原因是：精确梯度是短视的，只关心当前更新能立刻买到什么，但每次更新也决定了下一步从哪里开始。交叉熵是「有耐心的准确率」——一个样本在 log-odds 以单位速度永远上升时愿意支付的总误差。把这个总误差截断到剩余学习量，就得到 horizon loss，一行代码的改动，让训练从交叉熵逐渐过渡到精确策略梯度。 在 MNIST 和 ImageNet（ResNet-50、ResNet-101、ViT-S/16）上，horizon loss 在固定学习率下提升了 top-1 准确率，且增益随标签噪声增大而增大。
深读
导读 这是一篇来自康奈尔大学 Ian Osband 的论文，核心发现是：在分类任务中，精确的策略梯度方法（强化学习核心）在期望准确率上反而输给了交叉熵损失。论文揭示了原因，精确梯度是短视的，并提出了一个只需一行代码改动的新损失函数 horizon loss，在多个视觉模型上稳定提升了 top-1 准确率。读完能带走一个简单有效的训练改进思路，以及对“梯度更新如何影响后续学习”这一基础问题的更深理解。 关键信息 - 分类任务中，策略梯度是精确且平滑的（正确标签已知，无探索、信用分配、动作采样噪声问题），但期望准确率仍低于交叉熵。 - 精确策略梯度是“零视野”的（zero-horizon limit），只关心当前更新能立刻提升多少准确率，忽略了更新会改变下一步的起点。 - 交叉熵被重新解释为“有耐心的准确率”：一个样本在 log-odds 以单位速度永远上升时愿意支付的总误差。 - horizon loss 将交叉熵的总误差截断到剩余学习量，实现从交叉熵向精确策略梯度的平滑过渡。 - 在 MNIST、ImageNet（ResNet-50、ResNet-101、ViT-S/16）上，horizon loss 在固定学习率下提升了 top-1 准确率，且增益随标签噪声增大而增大。 逐节讲解 分类任务中的策略梯度：精确但短视 论文首先指出，分类任务没有强化学习的常见难题。一个分类器本质上是一个策略（policy），其期望奖励就是它赋予正确标签的概率。由于正确标签已知，策略梯度是精确且平滑的。然而，实验表明，即使以期望准确率为目标，精确策略梯度仍然输给交叉熵。原因在于精确梯度是“短视的”（myopic）：它只评估当前更新能立刻带来多少收益，但每次更新也决定了下一步从哪里开始。因此，一个更新的真正价值取决于还有多少学习剩余。 交叉熵作为“有耐心的准确率” 论文提供了一个新的视角：将交叉熵理解为“有耐心的准确率”。具体来说，交叉熵等价于一个样本在 log-odds 以单位速度永远上升时愿意支付的总误差。而精确策略梯度则是这个总误差的“零视野”极限（即只考虑当前时刻）。这个视角揭示了二者的根本差异：交叉熵考虑了整个学习过程，而精确梯度只关注当下。 Horizon Loss：一行代码的改进 基于上述分析，论文提出了 horizon loss：将交叉熵的总误差截断到剩余学习量。这个改动只有一行代码，效果是让训练从交叉熵逐渐过渡到精确策略梯度，训练初期接近交叉熵（有耐心），训练后期接近精确策略梯度（短视）。在一个简单的分配模型中，horizon loss 被证明能避开交叉熵和精确策略梯度各自会陷入的陷阱。 实验验证 在 MNIST 和 ImageNet（使用 ResNet-50、ResNet-101、ViT-S/16）上，horizon loss 在固定学习率下提升了 top-1…