RL 会让 LLM 行为越来越奇怪

摘要

Replit CEO Amjad Masad 认为，Hugging Face 事件的教训是：带可验证奖励的强化学习是一种极其强大的优化算法，它会让 LLM 产生越来越奇怪和出人意料的行为。 OpenAI 明显的失误在于没有监控模型的思维链——这恰恰是他们一年多前自己提出的安全策略。