Meta 千兆瓦级超算集群 Prometheus 内幕
来自 Meta Engineering · 期号 2026-10-19
摘要
Meta 在俄亥俄州新奥尔巴尼建设千兆瓦级超算集群 Prometheus，首阶段已完成并用于训练 Muse 系列模型。 集群目前部署了数百块 GPU，横跨多栋建筑，通过光纤互联，最终规模将达约 100 万块 GPU。 当前使用两代 NVIDIA GPU 平台：Catalina（GB200 NVL72）和 Clemente（GB300 NVL72），后者每 GPU HBM 容量提升 50%，并原生支持 800G 网络。 训练稳定性方面，预训练 goodput 超过 85%，强化学习 goodput 超过 90%，平均无中断时间约 4.7 万 GPU 小时，经固件优化后已提升至 5.4 万 GPU 小时以上。 网络采用专用后端以太网，建筑内最多互联 20,736 块 GPU，建筑间通过 Arista 交换机聚合，跨度从 2 公里到 100 公里以上。 可靠性方面，NVL72 架构将故障域从 8 块 GPU 扩大到 72 块，每机架保留 8 块 GPU 作为热备，整体需额外预留约 13% 的 GPU。 原文是 Meta 工程团队对 Prometheus 集群的完整技术复盘，包含硬件选型、网络拓扑和可靠性设计细节。
深读
导读 Meta 公开了其位于俄亥俄州新奥尔巴尼的千兆瓦级超算集群 Prometheus 的详细技术架构。这篇文章深入介绍了从硬件选型、网络拓扑到可靠性工程的全栈设计思路，对于关注大规模 AI 基础设施建设的从业者来说，是了解当前超大规模训练集群工程实践的第一手资料。 关键信息 - Prometheus 首阶段已完工并用于训练 Muse 系列模型（包括 Muse Wonder），最终规模将达约 100 万块 GPU。 - 预训练 goodput 超过 85%，强化学习 goodput 超过 90%；平均无中断时间（MTBI）约 4.7 万 GPU 小时，经固件优化后已提升至 5.4 万 GPU 小时以上。 - 当前部署两代 NVIDIA GPU 平台：Catalina（GB200 NVL72）和 Clemente（GB300 NVL72）。Clemente 每 GPU HBM 容量提升 50%（从 192 GB 到 288 GB），并原生支持 800G 网络。 - 建筑内网络最多互联 20,736 块 GPU，建筑间通过 Arista 7800 系列交换机聚合，跨度从 2 公里到 100 公里以上。 - NVL72 架构将故障半径扩大 9 倍（相对 NVL8），每域 72 块 GPU 中实际使用 64 块，剩余 8 块作为机架内热备，使有效机架故障率降至极低水平。 逐节讲解 超算集群 Prometheus 概览 Meta 在俄亥俄州新奥尔巴尼将原有数据中心改造为千兆瓦级超算集群 Prometheus，分阶段建设。首阶段已完工，用于训练 Muse 系列基础模型（包括前沿模型 Muse Wonder）。集群目前由横跨多栋建筑的数十万块 GPU 组成，通过光纤互联，最终规模将达约 100 万块 GPU。训练稳定性方面，预训练 goodput 超过 85%，强化学习 goodput 超过 90%，MTBI 约 4.7 万 GPU 小时，经固件优化后已提升至 5.4 万 GPU 小时以上。 两代 GPU 平台：Catalina 与 Clemente Prometheus 当前部署两代 NVIDIA GPU 平台，均采用 NVL72 机架架构（72 块 GPU 通过 NVLink 互联，作为一个加速器域工作）。 Catalina（GB200 NVL72）：采用 Ariel 变体，即双机架配置，每机架 36 块 GPU。每块 GPU 配备 192 GB HBM3e，域内总计 13.4 TB；峰值 FP8 训练算力 720 PFLOPS；NVLink 带宽 130 TB/s；系统总功耗约 120 kW。Ariel 变体的关键设计是 1:1 的 GPU 与 CPU 配比，并配备 2x ConnectX-7 400G NIC，使每 GPU 的 scale-out I/O 达到 8…