模型工厂内部——Poolside AI 联合创始人
来自 Latent Space · 期号 2026-07-23
摘要
Poolside AI 联合创始人 Eiso Kant 做客 Latent Space，详解其“模型工厂”如何用不到 70 名研究人员，每月运行 1 万到 2 万次实验，将模型从预训练到发布压缩到八周。 Kant 认为，当前 AI 行业最被高估的是“原始智能”，而持久性、验证和回溯能力可能更重要。他直言 MCP 和传统工具调用“很蠢”，未来 agent 应该直接写脚本，而不是从几十个预定义工具里选。 Poolside 最新发布的 Laguna S 模型（118B 总参数，8B 激活参数）在多项基准上击败了规模近十倍的 Thinking Machines 模型。Kant 还解释了为什么强化学习会前移到预训练阶段，以及为什么 next-token prediction 仍然没有从互联网中提取足够的知识。 他更希望看到一个有 100 家基础模型公司的世界，而不是只有五家的寡头格局。
深读
导读 原文信息有限，以下基于节目简介。本期节目邀请 Poolside AI 联合创始人 Eiso Kant，详解其“模型工厂”如何以不到 70 名研究人员每月运行上万次实验，将模型从预训练到发布压缩至八周。Kant 直言 MCP 和传统工具调用“很蠢”，并认为持久性、验证和回溯能力可能比原始智能更重要。读完可了解一家专注代码的 AI 公司如何通过工程系统创新挑战规模更大的对手，以及其对 agent 未来形态和行业格局的独特判断。 关键信息 - Poolside 最新模型 Laguna S 总参数 118B，激活参数 8B，在多项基准上击败了参数规模近十倍的 Thinking Machines 模型。 - Poolside 的“模型工厂”每月运行约 10,000 到 20,000 次实验，模型从预训练到发布仅需八周。 - Kant 认为当前 AI 行业最被高估的是“原始智能”，持久性、验证和回溯能力可能更重要。 - Kant 直言 MCP 和传统工具调用“很蠢”，未来 agent 应该直接写脚本，而不是从几十个预定义工具里选。 - Kant 更希望看到一个有 100 家基础模型公司的世界，而不是只有五家的寡头格局。 - Poolside 曾花费四年、1200 万美元在代码语言模型上，在市场关注之前持续投入。 逐节讲解 从 RNN 到模型工厂：Poolside 的十年赌注 Eiso Kant 在 2015 年受 Andrej Karpathy 的 RNN 工作启发，开始为代码构建语言模型。在 Transformer 出现之前，他花费四年、1200 万美元坚持这个方向，直到 ChatGPT 的出现让他感到“被证明是对的”，并促使 Poolside 回归开源。Kant 认为代码是通往 AGI 的路径，而 Poolside 刻意将研究团队建在湾区之外，以避开人才争夺战。 模型工厂：工程驱动的实验系统 Poolside 的核心竞争力在于其“模型工厂”——一个端到端的系统，支持每月 10,000 到 20,000 次实验。关键工程决策包括：将数据直接流式传输到训练中，以加速实验迭代；使用不可变数据和版本化代码确保实验可复现；采用低精度计算提升效率。Kant 强调，模型构建最终 90% 是工程问题，95% 的改进可以归结为更好的数据或计算效率。团队从六个月的模型周期缩短到五到八周。 Laguna S：小模型击败大对手 Poolside 最新发布的 Laguna S 模型（118B 总参数，8B 激活参数）在多项基准上击败了规模近十倍的 Thinking Machines 模型。Kant 认为，持久性、验证和回溯能力可能比原始智能更重要，而较小的模型可能处理比预期更多的知识工作。他还解释了为什么强化学习将前移到预训练阶段，以及为什么 next-token prediction…