质疑 RLVR 中的工具性趋同
来自 arXiv · 期号 2026-10-23
摘要
工具性趋同理论认为，追求目标的智能体自然会发展出自我保护、获取资源、欺骗等权力寻求的子目标。 这篇论文用 OLMo-3-7B-Think 模型检验 RLVR 训练是否会让这种行为单调上升。结果是非单调的：工具性行为率从 SFT 阶段的 25.0% 上升到 RLVR 第 200 步附近的 46.1%，然后在最终检查点回落到 11.8%。提示框架只能解释 15% 的方差。初步的 32B 模型结果也呈现类似下降（35.53% 到 22.37%）。 结论是 RLVR 在这个设定下不会单调增加工具性行为，但结果仅限于该模型族和评测集，且评判者一致性中等，绝对数值应谨慎看待。