Rich Sutton 的观点是，当今 AI 领域
来自 Training Data · 期号 2026-08-20
摘要
Training Data: “Rich Sutton and Khurram Javed: Why AI Models Stop Learning, and How to Start It Again” 核心 takeaway：Rich Sutton 的观点是，当今 AI 领域把 “continual learning” 当成一个小众方向，但它本来就应该是 learning 的默认定义。 强化学习先驱、《The Bitter Lesson》作者 Rich Sutton，以及他的 Oak Lab 联合创始人、前 University of Alberta 学生 Khurram Javed，正在反对当前主流 AI training 范式：训练一个巨大模型，把大部分知识冻结，然后事后再加一点适应能力。Sutton 的说法很直接：“All learning is continual. We always act and we learn.” 问题在于，真实世界太大，任何模型都不可能提前算完。simulation 和 synthetic data 有用，但 Sutton 认为它们和真实世界相比只是微缩模型，真实世界包含物理摩擦、其他人的思想、身体、不断变化的环境，以及无限 edge cases。Javed 补充说，真正的 continual learning 可能要求模型在学习知识的同时，也学习“如何学习未来的新东西”，而不是把 plasticity 后装到一个固定的 foundation model 上。他们对 LLM 至上论的批评也很尖锐：语言很重要，但不是全部智能。Sutton 认为流畅使用语言也许只是智能的 “20% or a quarter”。剩下的是行动、适应、感知、移动，以及从经验中持续更新。