构建自动化 AGI 实验室
来自 Training Data · 期号 2026-07-29
摘要
OpenAI 推理负责人 Jerry Tworek 与 Gemini 预训练联合负责人 Rohan Anil 共同创立了 Core Automation。 他们的核心判断是：Transformer 已经走到了尽头，继续堆算力不会带来更智能的系统。缺失的能力是持续学习——模型在测试时自适应调整，而 Transformer 做不到。上下文学习在约 20 分钟后就会饱和，微调又会引发灾难性遗忘。 两人认为，预训练和强化学习应该端到端联合优化，而 Transformer 在计算效率上存在浪费。最大的实验室不会去探索替代方案，因为它们正深陷编程 agent 的竞赛。 Core Automation 的切入点是从自动化内核生成开始——这是前沿模型仍然输给高水平人类的地方。 “Transformer 已经带我们走到了极限，瓶颈不再是规模，而是架构本身。”