Core Automation 的赌注不是简单做更大
来自 Training Data · 期号 2026-08-04
摘要
核心 takeaway：Core Automation 的赌注不是简单做更大的 transformer，而是做能从真实世界经验中学习的模型，以及能把 research、kernel、hardware、deployment 闭环自动化得更彻底的实验室。 Jerry Tworek 和 Rohan Anil 对这个问题有非常直接的一线经验。Jerry 曾是 OpenAI VP，参与 reasoning 和 “strawberry” 相关工作。Rohan 是 Gemini pretraining 的核心负责人之一，也曾在 Google Brain 和 Anthropic 做过基础研究与系统问题修复。他们共同的批评是：今天的模型在 lab 里训练，然后被部署到真实世界，但真实世界一直在变。Jerry 说他用 Codex 大概 “twenty minutes” 后就会碰到 context 限制，需要 compact 或 reset。这个现象背后是更深的问题：in-context learning 有用但容量小，continuous fine-tuning 又有 catastrophic forgetting 和 data efficiency 低的问题。 最值得记住的一句话是 Jerry 对 learning from experience 的定义：“reinforcement learning is not the end of learning from experience.” 他用踢足球和学数学做类比，这个类比很关键。有些学习像不断试错和修正，有些学习则像在脑中反复理解困难概念，直到结构突然连起来。frontier AI 现在花了大量 compute 在类似 experience 的数据上，但当前算法可能只是 adaptive system 所需能力的早期版本。 Rohan 给出的现实约束是 hardware realism。理论上更好的 architecture，如果跑不快，就没有实际意义。他把 kernel generation 视为一个核心瓶颈：在一个 QR kernel competition 中，当前模型加人类可以推进一部分，但要做到 60x 更快，仍然需要极少数顶尖人类、数周时间，以及大量 agent 花费。这就是为什么 Core Automation 想做 “automated lab”：不是把人移出循环，而是给每个 researcher 更大的 agency，减少 silo，缩短实验闭环，更快验证想法，并让模型帮助完成把新 architecture 变成真实系统所需的底层性能工作。