MetaRoCE：为 AI 规模以太网打造的 RDMA
来自 Meta Engineering · 期号 2026-08-25
摘要
Meta 发布了 MetaRoCE，一个为 AI 工作负载从头设计的 RDMA 传输协议，面向百万 GPU 规模的以太网集群。 传统 RoCE 依赖网络按序交付，使用 PFC 流控，在大规模多平面网络中性能受限。MetaRoCE 将智能从交换机移到网卡：数据包被喷洒到多条路径上，乱序到达是常态而非异常，每个包自带目的地信息，落地即写入最终内存位置，无需重排序缓冲区。 每条连接拥有独立路径，网卡可实时切换路由以避开拥塞或故障链路。协议将以太网视为有损网络，不依赖 PFC 暂停帧，通过 256 位选择性确认位图精确识别丢包。 Meta 已通过 OCP 开源了 MetaRoCE 规范、参考实现和合规测试套件。
深读
导读 Meta 为百万 GPU 规模的 AI 集群从头设计了一个 RDMA 传输协议 MetaRoCE，核心思路是将智能从网络交换机移到网卡上。它不再依赖 PFC 流控和网络按序交付，而是主动将数据包喷洒到多条路径上、容忍乱序到达，并在丢包时通过精确位图快速重传。读完本文可以理解：为什么传统 RoCE 在大规模多平面网络中受限，以及 MetaRoCE 如何通过端点智能实现更高的吞吐、更低的尾延迟和更优雅的降级行为。 关键信息 - MetaRoCE 将智能从交换机移到网卡：数据包被喷洒到多条路径上，乱序到达是常态而非异常，每个包自带目的地信息，落地即写入最终内存位置，无需重排序缓冲区。 - 每条连接拥有独立路径，网卡可实时切换 UDP 源端口以避开拥塞或故障链路；协议将以太网视为有损网络，不依赖 PFC 暂停帧。 - 通过 256 位选择性确认位图精确识别丢包，一旦出现缺口即触发精确重传，而非像其他协议那样主要用 SACK 避免重复发送已到达的数据。 - 在 64 节点 AMD GPU 集群上，MetaRoCE 在 all-reduce 和 all-to-all 操作中持续优于 RoCEv2；1% 丢包率下仍保持约 86% 吞吐量，10% 极端丢包率下仍能提供可用带宽。 - 4 平面和 8 平面拓扑下、最多 4000 条并发连接的验证显示，吞吐量随平面数线性扩展；模拟平面故障时流量可自主恢复，无需应用或运维介入。 - Meta 已通过 OCP 开源了 MetaRoCE 规范、参考实现（libsoftmetaroce）和合规测试套件。 逐节讲解 为什么需要新协议 Meta 已拥有数十万 GPU 规模的集群，分布在多个数据中心和区域。无论是训练还是推理，网络都处于关键路径上：集合通信（如 all-reduce、all-to-all）中最慢的传输决定整个训练任务的节奏，推理中分布式模型分片间的低延迟通信直接影响数亿用户的响应时间。标准 RoCE 依赖网络按序交付、使用 PFC 流控，在多平面和大规模网络中性能受限。MetaRoCE 的目标是在加速器数量和距离增长时提供高吞吐、低尾延迟和运维简洁性。 核心设计：端点智能 MetaRoCE 的核心洞察是「网络看到的是包，但网卡看到的是意图」。传统架构把智能集中在交换机上，MetaRoCE 则将其移到端点，将网络分解为多条细粒度逻辑路径，每条路径拥有独立的实时遥测（RTT、ECN 状态、利用率）。具体实现包括四个关键机制： - 原生乱序交付：数据包被喷洒到多条路径，乱序到达是设计常态。每个写操作包自带目的地，发送操作包携带匹配的接收缓冲区标识，无需重排序缓冲区，无队头阻塞。 - 原生多路径：每条连接拥有独立路径，网卡可随时更改 UDP 源端口以避开坏路由。在多平面网络中，平面选择完全由网卡决定。每条路径维护独立的拥塞窗口和…