NVIDIA验证GPU集群AI负载就绪
来自 NVIDIA Developer · 期号 2026-09-24
摘要
GPU集群通过所有健康检查，仍然可能跑不了AI负载——一个降速的GPU或一条链路就能拖慢整个训练。 NVIDIA开源了Cluster Readiness Engine（NVCRE），一个Kubernetes控制器。它在生产负载落地前，在拓扑感知的节点组上运行真实分布式工作负载，测量结果，并报告哪些节点在哪项测试中失败了。 API分三层：Certification指定测试目标和类别，Workflow管理单类别的执行，Job运行负载并记录失败原因。自适应故障隔离自动把失败组拆分成更小的组重跑，直到找出少量嫌疑节点，免去手动遍历。 WorkloadRun API简化了多节点GPU任务的配置：提供镜像、选择框架（torch/mpi/exec）、指定节点数。NVCRE自动注入共享内存、设置NCCL变量、开启NVLink，还可选KAI Scheduler做gang scheduling。 内置目录涵盖NCCL通信（all-reduce、all-gather等）、DCGM诊断和NeMo预训练。失败阈值用CEL表达式自定义。NVCRE只记录失败节点和原因，不进行封禁或修复。它与AI Cluster Runtime和NVSentinel共同构成NVIDIA DSX OS的配置-验证-监控三层。