ZCube 组网架构破解推理网络瓶颈
来自 Z.ai Research · 期号 2026-05-21
摘要
大模型推理的 PD 分离部署让 KV Cache 跨节点传输成为常态，传统 ROFT 架构的静态拓扑容易引发局部拥塞。 ZCube 的思路是取消 Spine 层，把 Leaf 交换机分成两组做完全二部图互联，GPU 双端口分别以单轨和多轨接入两组交换机。这种扁平拓扑让全网交换机之间的流量负载更均衡，从架构层面避免了结构性拥塞。 在 GLM-5.1 coding 的千卡生产集群中，从 ROFT 换到 ZCube 后，GPU 平均推理吞吐提升 15%，TTFT P99 下降 40.6%，交换机与光模块成本减少 33%。该架构已稳定运行两周多。 论文发表于 ACM SIGCOMM 2025。
深读
导读 大模型推理的 PD 分离部署让 KV Cache 跨节点传输成为常态，传统 ROFT 架构的静态拓扑容易引发局部拥塞。智谱、驭驯网络与清华大学联合提出的 ZCube 组网架构，通过取消 Spine 层、将 Leaf 交换机做完全二部图互联，从架构层面避免了结构性拥塞。在 GLM-5.1 coding 的千卡生产集群中，ZCube 在减少 33% 交换机与光模块成本的同时，将 GPU 平均推理吞吐提升 15%、TTFT P99 下降 40.6%。 关键信息 - ZCube 取消了传统 Clos 架构的 Spine 层，将 Leaf 交换机按奇偶序号分为两组，两组之间做完全二部图互联；每张 GPU 网卡的两个端口分别以单轨和多轨方式接入两组交换机。 - 在 GLM-5.1 coding 推理服务的千卡生产集群中，从 ROFT 升级到 ZCube 后，GPU 平均推理吞吐提升 15% 以上，TTFT P99 下降 40.6%。 - 交换机与光模块资本支出减少 33%；对于万卡集群，ZCube 可节省网络硬件投资约 2.1 亿至 6.4 亿元。 - 该架构的网络直径为 2 跳（全网 GPU 经过两台交换机互达），使用一层 51.2T 交换机（128 个 400Gbps 端口）即可连接 16384 块 400Gbps 网卡。 - 论文发表于网络领域顶会 ACM SIGCOMM 2025，被评价为 "significantly change the way we think about and understand networking"。 逐节讲解 网络带宽如何制约推理性能 文章首先通过控制变量实验说明网络对推理性能的影响：在一个 32 卡推理服务上，仅将网卡带宽从 100Gbps 提升到 200Gbps，推理总吞吐提升约 19%，首 Token 时延（TTFT）下降约 22%。这表明在大模型推理中，网络带宽已成为制约服务性能的核心因素之一。 推理网络拥塞的两类来源与 ROFT 的局限 当前业界普遍采用 Clos 架构（Fat-Tree）组网，其性能高度依赖交换机之间的理想负载均衡，但现实中很难实现。ROFT（Rail-Optimized Fat-Tree）架构将 GPU 按索引号分组，相同索引号的 GPU 连接到同一台 Leaf 交换机，以减少跨 Spine 通信代价。然而在 PD 分离推理场景中，KV Cache 传输具有明显的源-目的不对称性，不同 GPU 承担的通信负载差异很大，ROFT 的 rail 映射反而容易把流量集中到少数 Leaf 交换机上，引发链路拥塞和 PFC 反压。 文章将网络拥塞分为两类：不可避免的拥塞（如多个 GPU 同时向同一目的地发送数据）和可避免的拥塞（由拓扑结构、流量映射方式或多路径负载不均导致）。PD 分离推理中的结构性拥塞…