Baseten CEO：推理是 AI 的最后一个市场
来自 No Priors · 期号 2026-05-02
摘要
Baseten CEO Tuhin Srivastava 认为，AI 的应用层会赢，因为拥有独特用户信号的公司可以把价值编码进工作流，并对模型做后训练微调。他举了 Abridge 和客服工作流作为例子。 Baseten 的推理需求带来了 30 倍增长。Srivastava 谈到 GPU 产能紧张、公司跨 18 朵云和 90 个集群的多云架构，以及推理正在成为战略性的“最后一个市场”。 他还讨论了长期 GPU 合同、定制模型的兴起、以及规模化运营的教训——包括一个“万事皆管家”的未来。