AI 研究传奇对现状的诚实评估
来自 Unsupervised Learning · 期号 2026-06-03
摘要
Transformer 论文合著者、前 Google Brain 与 OpenAI 研究员 Lukasz Kaiser 认为，当前架构在数据效率和物理世界泛化上存在根本局限。 他本人是 Codex 的重度用户，研究效率提升了 10 倍，但强调这并不证明 Transformer 能像人类一样真正泛化。 对于编码 agent，他持乐观态度，认为 AI 研究实习生级别的能力已经不远。 在非可验证任务的强化学习上，他认为这是当前最被低估的前沿。 “多模态仍然缺少一些东西，我们还没找到正确的表示方式。” 开源与闭源的差距正在缩小，但闭源在推理和 agent 能力上仍领先。 本文是一集播客访谈，覆盖了架构局限、agent 进展、RL 前沿与开源差距。
深读
导读 原文信息有限，以下基于节目简介。本期节目邀请到 Transformer 论文合著者、前 Google Brain 与 OpenAI 研究员 Lukasz Kaiser，他坦诚评估了当前 AI 架构的根本局限：数据效率低下、无法像人类一样真正泛化。同时，他作为 Codex 的重度用户，分享了研究效率提升 10 倍的真实体验，并对编码 agent、非可验证任务的强化学习以及开源与闭源差距等前沿话题给出了判断。适合想了解一线研究者对 Transformer 路线真实看法的从业者。 关键信息 - Lukasz Kaiser 是 Transformer 奠基论文《Attention Is All You Need》的合著者，曾任职于 Google Brain 和 OpenAI。 - 他本人是 Codex 的重度用户，个人研究效率因此提升了 10 倍，但他强调这并不证明 Transformer 能像人类一样真正泛化。 - 他认为当前架构在数据效率和物理世界泛化上存在根本局限。 - 对于编码 agent，他持乐观态度，认为 AI 研究实习生级别的能力已经不远。 - 他认为非可验证任务的强化学习是当前最被低估的前沿。 - 开源与闭源的差距正在缩小，但闭源在推理和 agent 能力上仍领先。 逐节讲解 Transformer 与人类学习的根本差异 节目从 Transformer 架构与人类学习的对比切入。Kaiser 认为，尽管 Transformer 在大量任务上取得了惊人成绩，但其数据效率极低，且无法像人类一样从少量样本中实现真正的泛化。他本人虽然每天使用 Codex 并获得了 10 倍效率提升，但这只是工具层面的进步，并不代表模型具备了人类式的理解能力。 物理世界泛化与架构下一步 讨论转向如何让 AI 获得物理世界的泛化能力。Kaiser 认为当前架构在这方面存在根本局限，Transformer 可能不是最终答案。节目探讨了「Transformer 之后会是什么」这一开放问题，但简介中未给出具体候选方案。 Agent 进展与研究效率 Kaiser 详细分享了 agent 如何改变他的研究工作流程。他使用 Codex 后效率提升 10 倍，并认为 AI 研究实习生级别的能力已经不远。这意味着 agent 在编码和辅助研究方面的能力正在快速逼近人类初级研究者的水平。 强化学习的前沿：非可验证任务 Kaiser 指出，当前强化学习在可验证任务（如棋类、数学证明）上已经取得显著成功，但在非可验证任务（如开放式写作、创意设计）上仍缺乏有效方法。他认为这是当前最被低估的前沿，一旦突破，将极大扩展 AI 的应用范围。 多模态、推理与开源差距 节目覆盖了多个前沿话题：Kaiser 认为多模态「仍然缺少一些东西，我们还没找到正确的表示方式」；OpenAI 押注推理能力；开源与闭源的…