为什么 AI 基础设施必须为 Agent 体验进化
来自 Latent Space · 期号 2026-07-09
摘要
Modal 刚完成 3.55 亿美元的 C 轮融资。CTO Akshat Bubna 在访谈中解释了为什么传统云基础设施不适合 AI 工作负载：Kubernetes 是为稳态服务设计的，无法处理弹性推理和 GPU 突发这类任务。 Modal 正在从开发者体验转向 Agent 体验。Agent 不能像人类一样读文档、理解 YAML 或排查仪表盘，它们需要程序化的环境——能写代码、运行、检查输出、调试、重试。沙箱是这一转变的核心：Agent 可以快速启动隔离环境，强化学习 rollout 有时需要 10 万个沙箱。 Modal 的底层能力包括无服务器函数、装饰器式基础设施、GPU 快照、DeFlash 推测解码、Auto Endpoints，以及横跨 17 个云厂商的容量池。Bubna 认为，当 Agent 开始写代码时，可观测性比读代码本身更重要。
深读
导读 原文信息有限，以下基于节目简介。Modal 刚完成 3.55 亿美元 C 轮融资，CTO Akshat Bubna 在访谈中阐述了为什么传统云基础设施（尤其是 Kubernetes）不适合 AI 工作负载，以及 Modal 如何从开发者体验转向 Agent 体验。读完能理解 Agent 时代对基础设施的新要求：程序化环境、弹性推理、沙箱和可观测性。 关键信息 - Modal 完成 3.55 亿美元 C 轮融资，此前在 2023 年完成 1700 万美元 A 轮融资。 - Kubernetes 被指为稳态服务设计，不适合弹性推理和 GPU 突发这类 AI 工作负载。 - Agent 不能像人类一样读文档、理解 YAML 或排查仪表盘，需要程序化的环境来写代码、运行、检查输出、调试和重试。 - 强化学习 rollout 有时需要 10 万个沙箱，沙箱是 Agent 体验的核心。 - Modal 的容量池横跨 17 个云厂商。 - Bubna 认为当 Agent 开始写代码时，可观测性比读代码本身更重要。 逐节讲解 传统云基础设施的局限 Kubernetes 是为稳态服务设计的，管理复杂、不擅长处理突发性和自定义镜像，开发者体验糟糕。AI 工作负载（如弹性推理、GPU 突发）与这种设计假设不匹配。Modal 的起源正是为了解决这个问题——CEO Erik Bernhardsson 想构建一个新的运行时，绕开 Kubernetes 的痛点。 从开发者体验到 Agent 体验 旧的基础设施假设使用者是人类：能读文档、推理 YAML、看仪表盘来诊断问题。Agent 没有这种能力，它们需要更紧密的集成环境，能写代码、运行、检查输出、改变环境、调试、重试。快速迭代和反馈循环对 Agent 至关重要。沙箱是这一转变的体现：Agent 可以快速启动隔离环境，RL rollout 有时需要 10 万个沙箱。 Modal 的 AI 基础设施栈 Modal 提供无服务器函数、装饰器式基础设施、GPU 快照、DeFlash 推测解码、Auto Endpoints 等能力。容量池横跨 17 个云厂商，支持网络化沙箱、sidecar、私有 IPv6、RDMA、多节点训练。Bubna 认为生产级 Agent 需要硬护栏，可观测性在 Agent 写代码时比读代码本身更重要。 值得注意 由于原文为节目简介而非完整逐字稿，以上内容仅基于简介中列出的要点。简介列出了大量讨论话题（如 DeFlash、推测解码、Auto Endpoints、Modal 的 17 云超云策略、网络化沙箱、多节点训练、自动研究等），但未提供这些话题的具体技术细节或嘉宾的完整论述。完整对话内容在可见部分之外。