NVIDIA NVLink Fusion 把 HBM 做
来自 NVIDIA Developer · 期号 2026-08-27
摘要
AI 工厂要跑越来越大的模型和更复杂的推理任务，但定制加速器（XPU）的内存带宽成了瓶颈。 NVIDIA 发布 NVLink Fusion，把高带宽内存（HBM）通过 NVLink 做成一个共享池，让多个 XPU 可以共同访问。这样内存和计算就解耦了，AI 工厂的设计更灵活，也更容易扩展。 本文是技术介绍，没有给出具体的性能数字或发布时间表。
深读
导读 NVIDIA 发布 NVLink Fusion 技术，旨在解决 AI 工厂中定制加速器（XPU）面临的内存带宽、芯片面积和功耗三大瓶颈。该技术通过将高带宽内存（HBM）通过 NVLink 网络池化，实现内存与计算的解耦，为超大规模云服务商和 AI 原生公司提供更灵活的 AI 基础设施设计路径。读完本文，你将理解 NVHBM 如何通过定制 HBM 基片在带宽、面积和功耗上带来具体量化优势，以及 NVLink Fusion 如何将这些芯片级改进扩展到机架级。 关键信息 - NVHBM 提供每堆栈比标准 HBM4e 多 30% 的内存带宽，可提升内存密集型 AI 工作负载的加速器利用率和吞吐量。 - NVHBM 的物理接口（PHY）和支持面积比 JEDEC HBM4e 标准减少高达 67%，从而释放出最多 30% 的主芯片硅面积用于计算或其他功能。 - NVHBM 的 HBM 功耗比标准 HBM4e 低 15%，在一个使用 2000W XPU 的 1 吉瓦数据中心中，节省的功耗可额外支持多达 15,000 个 XPU。 - 结合 NVLink Fusion 与 NVHBM，每个 XPU 的端到端性能可提升 30%，这是带宽、面积和功耗三项改进在机架规模上叠加的结果。 逐节讲解 为什么带宽、芯片面积和功耗驱动加速器设计 AI 工作负载（训练、推理和 agentic AI）越来越依赖对模型权重、KV 缓存和激活数据的高吞吐量访问。HBM 将关键内存带宽置于加速器附近，但定制加速器项目在引入最新 HBM 技术时，面临集成和验证的瓶颈。NVLink Fusion 让客户获得经过领先内存制造商验证的 NVHBM 基片，有助于减少这些瓶颈。 现代 AI 加速器的内存带宽瓶颈 加速器性能取决于计算引擎能否持续获得数据。NVHBM 每堆栈提供比标准 HBM4e 多 30% 的内存带宽，对于内存受限的 AI 工作负载，这意味着更高的加速器利用率和吞吐量。在大模型推理中，这可以提升每个用户的 token 吞吐量。同时，NVLink Fusion 将加速器连接成更大的域，使工作负载能更高效地使用分布式计算和内存。这种扩展域在使用专家并行（EP）或 WideEP 等高级路由技术时尤为关键，不同专家位于不同 GPU 上，需要跨整个机架的无缝高速同步。 更多芯片面积，更多灵活性 对于定制 AI 芯片，每一平方毫米都很关键。NVHBM 通过重新设计物理内存接口（PHY）来节省面积。标准 HBM 依赖更宽的接口连接，增加了封装面积。NVHBM 采用定制的基片，通过将内存控制器移入 3D HBM 堆栈并集成定制 PHY，减少了 I/O 面积需求。与 JEDEC HBM4e 标准相比，PHY 和支持面积减少了 67%，更窄的接口还简化了中介层布线，使整个布局中的可用硅面积增加多达 80%。这为…