有史以来最大的芯片——OpenAI 为何用它
来自 The MAD Podcast with Matt Turck · 期号 2026-07-23
摘要
AI 的瓶颈正从训练转向推理：模型生成 token、使用工具、推理验证的速度，决定了产品能做什么。 Cerebras CEO Andrew Feldman 解释了为什么“每用户每秒 token 数”是关键指标。生成一个词可能需要移动相当于 100 部高清电影的数据量，而 agent 会放大延迟。GPU 在推理的解码阶段效率不高，因为其架构是为训练设计的。 Cerebras 的 wafer-scale 芯片用大量片上 SRAM 替代 HBM，绕过了内存带宽瓶颈。OpenAI 已与 Cerebras 签下 750MW 的推理合同。Feldman 认为，当推理足够快时，AI 产品形态和 SaaS 本身都可能被重塑。 “今天的 AI 模型将是你用过的最差的。”——因为推理速度的提升会让模型能力快速迭代。
深读
导读 原文信息有限，以下基于节目简介。这期播客的核心论点是：AI 的瓶颈正从训练转向推理，而推理速度（每用户每秒 token 数）将决定下一代 AI 产品的能力边界。Cerebras CEO Andrew Feldman 解释了为什么 GPU 在推理的解码阶段效率不高、为什么内存带宽是比算力更关键的瓶颈，以及为什么当推理足够快时，AI 产品形态和 SaaS 本身都可能被重塑。 关键信息 - Cerebras 制造了一块硅晶圆大小的芯片（wafer-scale chip），用大量片上 SRAM 替代 HBM，绕过了推理的内存带宽瓶颈。 - OpenAI 已与 Cerebras 签下 750MW 的推理合同，用于其推理工作负载。 - Feldman 认为，生成一个词可能需要移动相当于 100 部高清电影的数据量，而 agent 会进一步放大延迟。 - GPU 在推理的解码阶段效率不高，因为其架构主要为训练设计，而推理的 prefill 和 decode 两个阶段对硬件的要求不同。 - 节目提到，AWS Trainium 与 Cerebras 的芯片在推理场景中有合作（Cerebras 负责 decode 阶段）。 - Feldman 的结论是：“今天的 AI 模型将是你用过的最差的”——因为推理速度的提升会让模型能力快速迭代。 逐节讲解 推理为何成为新瓶颈 节目开场即点明：AI 不再只是训练更聪明模型的竞赛。随着 AI 进入生产环境，瓶颈正在转向推理，模型生成 token、使用工具、推理、验证和行动的速度，决定了产品能做什么。Feldman 引入了一个关键指标：“每用户每秒 token 数”，并类比了 AI 的“宽带时刻”和 Netflix 的类比：当速度足够快时，使用方式会彻底改变。 芯片格局与 Cerebras 的路线选择 节目梳理了 AI 芯片的竞争格局：GPU、TPU、Trainium、ASIC。Feldman 解释了什么是 ASIC（专用集成电路），并讨论了 Nvidia、Groq 之间的“快速推理战争”。OpenAI 与 Broadcom 合作开发专用芯片，而 Cerebras 则选择了 wafer-scale 路线，将一整块晶圆做成一个巨大的芯片。Feldman 回顾了从 SeaMicro 到 Cerebras 的创业历程，以及为什么在 2016 年就押注 AI。 推理的内存问题：SRAM vs. HBM 这是节目的技术核心。Feldman 指出，推理本质上是一个内存问题：生成一个 token 需要移动大量数据（相当于 100 部高清电影）。GPU 依赖 HBM（高带宽内存），但 HBM 的带宽和容量之间存在根本矛盾。Cerebras 的 wafer-scale 芯片用大量片上 SRAM 替代 HBM，将数据移动距离从芯片外缩短到芯片内，从而绕过了…