语言强化学习的兴起
来自 arXiv · 期号 2026-09-02
摘要
语言模型 agent 的反馈信号正在从数字奖励转向自然语言。 这篇论文首次系统梳理了「语言作为强化信号」的三种方式：一是用语言定义任务本身（目标、状态、奖励结构）；二是在推理时用语言引导思考，不更新参数；三是把语言反馈作为训练信号来调整模型参数。 作者将这一范式称为 Verbal Reinforcement Learning（VRL），并指出语言反馈比数字奖励更能传递意图和因果结构，但也面临如何保证反馈质量、如何避免语言偏见等挑战。 本文是领域综述，附有完整的分类框架和代表性工作索引。