软硬件协同设计才是 AI 的 100x
来自 Training Data · 期号 2026-06-30
摘要
SemiAnalysis 创始人 Dylan Patel 认为，AI 最大的性能提升不来自更快的芯片，而来自软硬件协同设计。把模型、内核和芯片放在一起优化，能把 2x 和 2x 的局部改进叠成 100x。 他解释了 DeepSeek 的专家层为何专为 NVIDIA Hopper 架构设计（以及 TPU 为何难以高效运行），以及 OpenAI 的稀疏模型和 Anthropic 的稠密模型如何各自走向不同的硬件路线。所谓的 CUDA 护城河，从来就不是 CUDA 本身。 Patel 还介绍了他的实时评测项目 InferenceX，每天在价值超过 5000 万美元的捐赠硬件上运行最新模型，追踪到每单位质量的推理成本每年下降约 60 倍。他认为推理市场将超过石油市场，算力短缺将持续存在，因为模型扩展有用工作的速度超过了算力增长的速度。