推理工程大师课——Baseten
来自 Latent Space · 期号 2026-08-04
摘要
推理工程正在从训练后的收尾步骤，变成一门独立的工程学科。 Baseten 的 Philip Kiely 和 Ali Taha 解释了新开源模型发布后，如何把“生成了一个 token”变成快速、可靠的生产 API。 核心优化手段包括：缓存感知路由（复用已计算的 KV cache）、分离式预填充与解码（用不同 GPU 处理）、量化（误差可在层间抵消）、推测解码（用小模型加速大模型）。 他们提到，在一个 GLM-5.2 实验中，对更多层做量化反而保持了 benchmark 质量，同时吞吐量提升 20%，因为不同层的误差互相抵消。 推理优化仍能带来 20%、100% 甚至 200% 的提速。 对话还延伸到 NVIDIA Dynamo、Rubin 芯片、本地推理、视频生成（自回归与扩散架构的结合），以及训练与推理的融合——模型开始帮助优化运行自身的推理基础设施。 本文是深度技术访谈，覆盖了推理工程从硬件到算法的全栈细节。
深读
导读 原文信息有限，以下基于节目简介。本期节目来自 AI Infra 领域的新晋独角兽 Baseten，其工程师 Philip Kiely 和 Ali Taha 深入拆解了推理工程（Inference Engineering）这一新兴学科。对于关心如何将开源模型高效、低成本地部署到生产环境的从业者，这期内容提供了从 KV-cache 路由到量化误差抵消等一系列前沿实践和系统级思考。 关键信息 - Baseten 在 2026 年完成了一轮 130 亿美元的融资，成为 AI Infra 领域的新晋独角兽之一。 - 在一项 GLM-5.2 的实验中，对模型更多层进行量化反而保持了基准质量，同时吞吐量提升了 20%，原因是不同层的量化误差可以相互抵消。 - 推理优化目前仍能带来 20%、100% 甚至 200% 的性能提升，经过优化的推理服务可以让模型速度提升至 10 倍。 - 节目讨论了将 Kimi 的视觉编码器嫁接到 GLM-5.2 上，而不改变底层语言模型的做法。 - 推理工程已从三年前几乎不存在的领域，演变为 AI 中解决“如何将训练权重转化为快速、可靠、可负担的规模化产品”这一核心问题的关键学科。 逐节讲解 推理工程：从幕后到台前 节目指出，推理工程在三年内从一个几乎不存在的类别，成长为 AI 领域最关键的学科之一。它解决的核心问题与模型训练截然不同：如何将训练得到的权重转化为一个快速、可靠且成本可控的规模化产品。Baseten 作为这一领域的代表公司，在 DeepSeek 热潮后完成了巨额融资，成为推理基础设施浪潮的主要受益者之一。 推理优化的具体技术 节目深入探讨了一系列前沿推理优化技术。包括：缓存感知路由（cache-aware routing），用于复用之前计算过的 KV-cache；分离式预填充与解码（disaggregated prefill and decode），将这两个阶段分配给不同的 GPU 处理；投机性解码（speculative decoding），用小模型加速大模型；以及量化（quantization）技术。特别值得注意的是，量化误差可以在不同层之间相互抵消，从而在保持模型质量的同时提升吞吐量。 模型适配与系统挑战 节目讨论了如何在新开源模型发布后，快速将其转化为生产就绪的 API。这包括将 Kimi 的视觉编码器嫁接到 GLM-5.2 上，以及用其他架构的组件改造低效的模型层。此外，还分析了模型有时会重复输出同一个 token 的原因，以及硬件、内核和竞态条件如何导致非确定性故障。 超越 LLM：视频、硬件与未来 对话从 LLM 扩展到更广泛的领域，包括 NVIDIA Dynamo、mega kernels、Rubin 架构、AI 专用芯片、本地推理、视频生成，以及扩散模型与自回归模型的对比。节目指出，生成长篇连贯视频仍面临巨…