超越人类监督扩展大推理模型：迈向超级智能之路
来自 arXiv · 期号 2026-09-01
摘要
大推理模型（LRM）在数学和代码任务上已通过可验证奖励的强化学习（RLVR）取得显著进步，但将其扩展到开放式和智能体任务仍面临挑战：可靠奖励难以获取，人类监督无法跟上模型生成经验的规模与复杂度。 本文系统研究了人类监督逐渐退出学习循环后，LRM 如何持续改进。作者从两个维度展开分析：奖励维度追踪从逐实例人工判断到可复用验证器乃至无人类反馈奖励的演进；经验维度考察从人工策划任务到自生成课程、构建环境及自主共同进化的路径。 论文提出了一个从 L0 到 L4 的五级阶梯，标识学习过程中哪些部分仍受人类控制。同时分析了自主奖励与经验生成带来的风险，包括奖励破解、反馈漂移、课程崩溃和环境错误，并围绕策略能力、反馈保真度和经验质量三个互补对象给出评估框架。 本文为理解当前超越人类监督扩展 LRM 的方法以及构建迈向超级智能的自维持学习系统所面临的开放问题，提供了一个结构化分析。论文附有持续更新的 GitHub 仓库。
深读
导读 这是一篇来自 Cornell University 的综述论文，系统梳理了大推理模型（LRM）在超越人类监督后如何持续改进的路径。论文提出了从 L0 到 L4 的五级阶梯，用以标识学习过程中哪些部分仍受人类控制，并分析了自主奖励与经验生成带来的风险与评估框架。读完能获得一个理解当前 LRM 扩展方向的结构化视角。 关键信息 - 论文提出五级阶梯（L0 到 L4），标识学习过程中人类控制逐步退出的程度。 - 奖励维度从逐实例人工判断，演进到可复用验证器，再到无人类反馈的奖励。 - 经验维度从人工策划任务，演进到自生成课程、构建环境及自主共同进化。 - 自主奖励与经验生成的主要风险包括：奖励破解、反馈漂移、课程崩溃和环境错误。 - 评估框架围绕三个互补对象展开：策略能力、反馈保真度和经验质量。 - 论文附有持续更新的 GitHub 仓库，用于追踪最新进展。 逐节讲解 背景与问题 大推理模型（LRM）在数学和代码任务上已通过可验证奖励的强化学习（RLVR）取得显著进步，这些任务的结果可以自动检查。但将这一进展扩展到开放式和智能体任务仍面临根本困难：可靠的奖励更难获取，且人类监督无法跟上模型生成经验的规模与复杂度。论文的核心问题是：当人类监督逐渐退出学习循环后，LRM 如何持续改进？ 两个核心维度：奖励与经验 论文从两个维度展开分析。奖励轴追踪从逐实例人工判断到可复用验证器、再到无需人类反馈的奖励的演进路径。经验轴考察学习如何从人工策划的任务和环境，走向自生成课程、构建环境以及自主共同进化。这两个维度通过五级阶梯（L0 到 L4）连接起来，标识学习过程中哪些部分仍处于人类控制之下。 风险与评估框架 随着奖励和经验生成越来越自主，论文指出了四类主要风险：奖励破解（reward hacking）、反馈漂移（feedback drift）、课程崩溃（curriculum collapse）和环境错误（environment errors）。针对这些风险，论文提出了围绕三个互补对象的评估框架：策略能力（policy capability）、反馈保真度（feedback fidelity）和经验质量（experience quality）。 值得注意 本文是一篇综述，基于论文摘要，内容主要停留在框架和分类层面，没有给出具体的实验结果或量化比较。论文提出的五级阶梯和风险分类是概念性的，其实际有效性有待后续实证研究验证。