MTIA 300：Meta 首款内置网卡的训练芯片
来自 Meta Engineering · 期号 2026-08-25
摘要
Meta 发布 MTIA 300，这是其首款内置网卡和专用消息引擎的训练芯片。推荐模型的训练瓶颈不在浮点算力，而在加速器之间的通信——其嵌入表可包含超过 99% 的参数，需要频繁执行 AllReduce、AllToAll 等集合通信。 传统 GPU 上，通信操作与训练计算争用同一批流处理器，两者都会变慢。MTIA 300 把网络接口直接集成在芯片封装内，两个网卡小芯片提供 1.2 TB/s 总 I/O 带宽，无需经过 PCIe 总线。芯片边缘的 16 个专用消息引擎独立处理所有通信，合计提供超过 2.8 TB/s 的规约吞吐量，是 I/O 带宽的两倍多，可实现线速执行集合通信。 通信库 HCCL 与芯片从零开始协同设计，使通信成为芯片的一等公民。原文是芯片架构详解，附有 ISCA 26 论文链接。
深读
导读 推荐模型的训练瓶颈不在浮点算力，而在加速器之间的通信，其嵌入表可包含超过 99% 的参数，需要频繁执行集合通信。Meta 发布的 MTIA 300 是其首款内置网卡和专用消息引擎的训练芯片，通过将网络接口直接集成在芯片封装内，并让 16 个专用消息引擎独立处理所有通信，实现了通信与计算的近完美隔离。读完本文能理解 MTIA 300 如何通过芯片与通信库 HCCL 的协同设计，使通信成为芯片的一等公民，并在 1500 亿参数的生产模型上实现比等效 GPU 集群快 3.9 倍的通信时间。 关键信息 - MTIA 300 芯片封装内集成两个网络小芯片，每个包含 6 个定制 800 Gbps RDMA NIC，提供 1.2 TB/s 总 I/O 带宽，无需经过 PCIe 总线。 - 芯片边缘的 16 个专用消息引擎 (ME) 独立处理所有通信，其近内存计算 (NMC) 模块合计提供超过 2.8 TB/s 的规约吞吐量，是 I/O 带宽的两倍多。 - 在运行大规模 GEMM 的同时执行集合通信，MTIA 300 对计算吞吐量的影响小于 0.5%，而传统 GPU 因通信与计算争用同一资源，性能下降可超过 20%。 - 通信库 HCCL 与芯片从零开始协同设计，将每个集合通信编译为具有显式依赖关系的工作队列子图，下发给 ME 后主机不再参与。 - 在一个 1500 亿参数的生产推荐模型上，跨 40 个加速器运行，MTIA 300 的总通信时间比等效 GPU 集群快 3.9 倍。 - 单机架内 HCCL 可实现高达 940 GB/s 的通信带宽。 逐节讲解 推荐模型的通信瓶颈 与需要巨大浮点吞吐量的大语言模型不同，推荐模型的瓶颈在于加速器之间的高效通信。其嵌入表可包含超过 99% 的模型参数，需要采用混合并行策略，在数百个加速器间频繁执行 AllReduce、AllToAll 和 AllGather 等集合通信。在 GPU 上，这些通信操作与训练计算争用同一批流处理器，导致昂贵的硬件利用率低下。 网络接口直接集成在芯片上 MTIA 300 将网络接口直接集成在芯片封装内。两个网络小芯片，每个包含 6 个定制 800 Gbps RDMA NIC，提供 1.2 TB/s 的总 I/O 带宽，无需经过 PCIe 总线，消除了传统 GPU 架构中 CPU 必须在加速器和网络之间进行中介的瓶颈。这 12 个基于以太网的 NIC 同时用于机架内扩展通信（16 节点机架内，最高 1 TB/s）和跨机架扩展通信（200 GB/s），可通过重新配置网络灵活调整分配。为最小化每笔事务延迟，引入了快速门铃机制，工作请求写入本身即充当门铃，省去一次额外内存读取，每操作节省约 800 纳秒。 通信从计算网格中卸载 在 GPU 上，NCCL 等库将集合通信作为 GPU 内核执行，消耗流处理器，这…