Meta 的生成式广告模型 GEM
来自 Meta Engineering · 期号 2026-10-14
摘要
Meta 的广告推荐系统 GEM 在 2026 年从按产品（Facebook、Instagram、Reels）各自优化，转向一个统一的中央基础模型。 新架构叫 Kunlun，是与最新 GPU 协同设计的 LLM 风格架构。模型复杂度比上一代提升了 2.5 倍，并且观察到了类似 LLM 的 scaling law：更大的容量和更长的上下文，直接转化为排序质量的提升。 GEM 在 Meta 所有广告面和目标上实现了 18.9% 的转化率提升和 12% 的点击率提升。其中，Facebook 转化提升 5.8%，Instagram 提升 4.1%，站外转化提升 1.6%。 关键技术包括：用块对齐稀疏注意力把序列长度的计算复杂度从平方降到线性；通过架构重构把 pFFN 统一成注意力操作，前向速度提升 2 倍；引入 LoopFM 结构化表示，把知识蒸馏的传输效率翻倍，且不增加推理延迟。 训练方面，端到端效率翻倍到 20-25% MFU，总训练 FLOPs 增加 4 倍。 原文是 Meta Engineering 的技术博客，附有训练基础设施的姊妹篇。
深读
导读 Meta 在 2026 年将其广告推荐系统 GEM 从按产品（Facebook、Instagram、Reels）各自优化，转向一个统一的中央基础模型。这篇博客详细介绍了新架构 Kunlun 的设计、训练效率的提升以及跨域学习的效果，核心结论是：更大的模型容量和更长的用户行为序列，直接带来了可预测的排序质量提升，并在 Meta 所有广告面上实现了 18.9% 的转化率提升。如果你关心推荐系统如何借鉴 LLM 的 scaling law，以及大规模工业级模型的工程落地细节，这篇文章值得一读。 关键信息 - GEM 在 Meta 所有广告面和目标上实现了 18.9% 的转化率提升 和 12% 的点击率提升。其中，Facebook 转化提升 5.8%，Instagram 提升 4.1%，站外转化提升 1.6%。 - 新架构 Kunlun 的模型复杂度比上一代（Interformer）提升了 2.5 倍，并在最大规模的预训练中观察到了类似 LLM 的 scaling law：更大的容量和更长的上下文直接转化为排序质量的提升。 - 通过架构重构，将 pFFN（Per-Example Feed-Forward Networks）统一为注意力操作，前向速度提升 2 倍。 - 引入 LoopFM 结构化表示，将知识蒸馏的传输效率翻倍，且不增加推理延迟。同时引入 Solaris 投机性预计算机制，在不影响在线延迟的前提下提供近实时的基础模型推理。 - 端到端训练效率（MFU）翻倍至 20-25%，总训练 FLOPs 提升了 4 倍。这得益于与最新 GPU 协同设计的定制化内核和 5D 并行策略。 逐节讲解 从独立优化到中央基础模型 过去，Meta 的广告推荐系统为 Facebook、Instagram、Reels 等不同产品各自独立优化。GEM 在 2026 年转向一个统一的中央基础模型，从所有广告平台的数据和信号中学习。这个中央模型通过后训练技术（如 LoopFM）将知识高效地传递给下游的垂直模型，从而在不增加实时推理延迟的前提下，在所有广告面和漏斗阶段同时带来性能提升。 Kunlun 架构：为推荐系统设计的 LLM 风格架构 Kunlun 是 GEM 的新架构，其核心创新包括三个方面： 1. 标准化与统一架构框架：每一层包含三个组件：注意力（捕捉用户行为的长依赖模式）、摘要组件（从序列中提取关键用户洞察，桥接序列与非序列结构）、交叉交互（采用 MoE 风格设计，大规模建模序列与非序列特征间的复杂交互）。 2. 通过深度协同设计实现可扩展架构： - 块对齐稀疏注意力：用稀疏注意力替代全自注意力，将序列长度的计算复杂度从平方级降至线性级。 - 组件统一：通过广义点积注意力（GDPA）将 pFFN 组件重构为注意力操作，使前向速度提升 2 倍。 - 专家并行：交叉交互组件采…