NVIDIA DSX MaxLPS 最大化 AI 工厂吞
来自 NVIDIA Developer · 期号 2026-09-28
摘要
AI 工厂的电力预算通常按每块 GPU 的峰值功耗预留，但实际负载很少同时达到峰值，大量预留电力被闲置。 NVIDIA DSX MaxLPS 通过策略驱动的动态功率分配，在总预算不变的前提下，把闲置电力重新分配给其他 GPU，从而在同一个 264.4 kW 预算下把 GPU 数量从 140 块增加到 192 块（+37.1%）。 NVIDIA 与 Nscale 在冰岛数据中心用 GB300 NVL72 跑 Kimi K2.5 做了实测：归一化聚合吞吐量提升 49.2%，每瓦吞吐量从 4.10 提高到 6.12 tokens/s/W，单个实例的吞吐量基本不变。代价是 P99 首 token 延迟增加了 17%。 文章给出了五步验证流程：划定管理边界、建立基线、保守引入策略、逐步扩容测试、确认生产运行限值。
深读
导读 AI 工厂的电力预算通常按每块 GPU 的峰值功耗预留，但实际负载很少同时达到峰值，大量预留电力被闲置。NVIDIA DSX MaxLPS 通过策略驱动的动态功率分配，在总预算不变的前提下，把闲置电力重新分配给其他 GPU，从而在同一个 264.4 kW 预算下把 GPU 数量从 140 块增加到 192 块（+37.1%）。读完本文，你将理解这套控制循环的工作原理、实测带来的吞吐量提升与延迟代价，以及运营商如何分五步验证部署。 关键信息 - NVIDIA 与 Nscale 在冰岛凯夫拉维克 Verne 数据中心用 GB300 NVL72 系统跑 Kimi K2.5（FP4）做了实测。静态基线配置 140 块 GPU（35 个四 GPU 节点），DSX MaxLPS 配置 192 块 GPU（48 个四 GPU 节点），两者共用同一个 264.4 kW 的预留功率预算。 - 归一化聚合吞吐量从 1,084,503 tokens/s 提升到 1,618,443 tokens/s，增幅 49.2%。每瓦吞吐量从 4.10 提高到 6.12 tokens/s/W，增幅同样为 49.2%。 - 高吞吐实例的单个实例输出吞吐量基本不变（59,153 vs 59,220 tokens/s，+0.1%），低延迟实例完全不变（2,265 tokens/s）。P99 首 token 延迟从 15.7 秒基线增加了 17%，而中位数和 P75 延迟保持在基线 5% 以内。 - 功率预算利用率从 62.9% 提高到 75.2%，总实测功率从 166.2 kW 增加到 198.9 kW（+19.7%），但预留预算上限 264.4 kW 从未被突破。 逐节讲解 静态预留为何浪费容量 AI 工厂的电力限制是分层的：从市电、变电站、配电设备到机架、节点和 GPU，每一层都有上限。静态规划通常为每个节点预留其峰值功率，确保最坏情况也能运行。但 AI 负载很少持续拉满功率：训练在计算、通信、同步、检查点之间切换；推理在 prefill、decode、内存操作、网络活动和空闲之间交替。同一模型的不同请求也会因形状和并发度不同而功率各异。这种波动导致预留峰值与实际消耗之间存在缺口，且静态预留下，一个节点未用完的功率无法被其他节点借用。 DSX MaxLPS 控制循环 DSX MaxLPS 结合芯片、系统、散热和软件技术，在土地、功率和建筑（LPS）约束下最大化 AI 工厂产出。其控制过程包含五个技术要素： 1. 拓扑与资源组：运营商映射基础设施，将节点组织成一个有聚合功率预算的管理组。 2. 遥测：系统以足够频率收集 GPU、节点、机架和组的功率数据，以发现可用余量和即将发生的功率事件。 3. 策略：运营商定义节点限制、组限制、分配优先级、预留要求以及维护或紧急事件下的响应规则。 4. 分…