NVIDIA 开源 Run:ai 平台
来自 NVIDIA Developer · 期号 2026-10-13
摘要
NVIDIA 把完整的 Run:ai 平台开源了，作为 DSX AI Factory 平台的一部分。 开源版包含四个可独立采用的模块：KAI Scheduler 做 GPU 感知的 Kubernetes 调度，GPU Fractioning Operator 做 CUDA 原生的 GPU 分片，KAI Resource Management 做组织级配额与层级管理，Workload Map 提供统一的工作负载管理契约。 Crusoe、Mirantis、Nebius 等八家 DSX 生态伙伴已经在集成这套开源平台。另外还有 Model Streamer 和 Grove 两个相关项目，分别加速模型加载和编排多组件推理负载。 KAI Scheduler 已捐给 CNCF 作为 Sandbox 项目，所有调度开发都在社区仓库进行。
深读
导读 NVIDIA 将完整的 Run:ai 平台开源，作为 DSX AI Factory 平台的基础层。开源版包含四个可独立采用的模块，覆盖 GPU 调度、分片、组织级配额管理和统一工作负载契约。对于任何运行 AI 工作负载的 Kubernetes 团队，这是理解 GPU 编排基础设施最新演进方向的关键信息。 关键信息 - 开源版包含四个可独立采用的模块：KAI Scheduler、GPU Fractioning Operator、KAI Resource Management 和 Workload Map。 - KAI Scheduler 已捐给 CNCF 作为 Sandbox 项目，采用 Apache 2.0 许可证，所有调度开发都在社区仓库进行。 - GPU Fractioning Operator 基于 CUDA 13.4 的原生 GPU 分片能力，替代了 Run:ai 此前专有的 GPU 分片实现。 - 八家 DSX 生态伙伴（Crusoe、Mirantis、Nebius、OpenNebula Systems、Rafay、Saturn Cloud、Spectro Cloud、vCluster）已在集成该开源平台。 - 相关开源项目 Model Streamer 在 Azure 上针对 8 个 H100 VM 的基准测试显示，模型加载速度比默认加载器快 3 到 6 倍，稳定带宽约 80 Gbps（默认路径约 40 Gbps）。 逐节讲解 开源发布与采用方式 NVIDIA 将完整的 Run:ai 平台作为开源软件发布，纳入 DSX AI Factory 平台。用户可以直接从 GitHub 仓库获取源码，或通过 NVIDIA NGC 以社区产品形式获取（附带 Helm chart）。直接采用无需付费订阅或企业支持。此外，八家 DSX 生态伙伴已将其集成到各自产品中，包括 Crusoe Managed Kubernetes、Mirantis 的 k0rdent AI、Nebius AI Cloud 的一键部署等。 四个模块化组件 KAI Scheduler 是 Run:ai 的调度引擎，专为大规模 GPU 工作负载设计。它支持 gang scheduling（带预调度内存模拟）、公平份额与配额分配、拓扑感知与装箱、GPU 共享（MIG、MPS、时间共享、HaMi、CUDA 13.4 MPS 分片）以及动态资源分配（DRA）。 GPU Fractioning Operator 将 CUDA 13.4 原生的 GPU 分片能力引入 Kubernetes。CUDA 驱动对每个工作负载施加硬内存限制，该 Operator 提供 Kubernetes 集成层和每 Pod 的指标导出器，且与调度器无关。 KAI Resource Management 提供组织层面的资…