Meta 广告排序的多阶段序列模型与缩放定律
来自 Meta Engineering · 期号 2026-08-06
摘要
Meta 的广告推荐系统每天处理数十亿用户交互。传统做法把用户行为序列建模和稀疏特征交互拆成两个独立模型，存在知识传递损耗和扩展瓶颈。 新架构做了两件事：一是把序列模型拆成离线用户建模和在线排序两个阶段，离线部分异步处理长历史并缓存 embedding，在线部分只做轻量排序；二是用密集 token 化加目标感知注意力，让模型直接从数据里学特征交互，不再依赖人工特征工程。 这套架构是 Meta 生成式广告推荐模型（GEM）的核心组件。在 Instagram 上转化率提升 6%，Facebook 上转化率提升 3%、广告点击率提升 3.5%。 原文是工程复盘，给出了完整的架构图和 scaling law 曲线。
深读
导读 Meta 工程团队公开了其广告推荐系统在序列建模上的两项核心架构突破：多阶段序列模型和密集 token 化加目标感知注意力。这套架构是 Meta 生成式广告推荐模型（GEM）的核心组件，在 Instagram 上带来 6% 的转化率提升、Facebook 上 3% 的转化率提升和 3.5% 的广告点击率提升。读完能带走一个完整的生产级推荐系统如何从混合架构演进到可预测 scaling law 的工程思路。 关键信息 - 多阶段序列模型将用户建模拆成两个阶段：离线阶段异步处理数千长度的用户历史序列并缓存 embedding，在线阶段只做轻量排序，从而在模型复杂度增长时避免服务成本飙升。 - 密集 token 化将稀疏特征与序列行为数据整合进一个统一的密集词表，让注意力机制直接从数据中学习特征交互，不再依赖人工特征工程。 - 目标感知多头注意力将 token 化的稀疏特征和广告候选信息与用户行为序列融合，让每层注意力根据被评分的具体广告来加权用户历史行为。 - 该架构在真实广告流量上展现出 LLM 风格的 scaling law：性能提升与计算量（FLOPs）呈对数线性关系，且缩放效率优于其他基于 transformer 的序列模型。 - 识别出四个缩放杠杆：平衡的模型形状（深度、宽度、序列长度需同步增长）、多阶段可调性、序列组成（动作类型多样性优于单一类型）、语义特征表示（基础模型的语义特征在冷启动场景中尤其有效）。 逐节讲解 混合架构的历史瓶颈 传统广告推荐系统将用户事件序列建模和稀疏特征交互拆成两个独立模型。这种混合架构虽然能满足生产需求，但存在三个问题：组件间的知识传递有损耗、仍然依赖人工特征工程、排序模型和序列模型之间的干扰限制了缩放天花板。当序列长度和 transformer 模型规模同时增长时，这些瓶颈会进一步加剧。 多阶段序列模型 核心思路是把序列模型拆成两个互补的阶段。离线用户模型异步处理长用户历史，使用多层 transformer，序列长度可达数千，生成的 embedding 按用户级别预计算并缓存。关键设计是严格分离用户特征与广告/上下文特征，确保用户 embedding 不依赖任何特定广告候选。在线排序模型则利用缓存的用户表示和实时广告候选信号做最终排序，优化目标是满足严格的延迟预算。 这种分离使得离线模型的复杂度可以沿着 scaling curve 持续增长，而不会导致在线服务的成本飙升。 序列模型架构创新 密集 token 化把稀疏特征和序列行为数据整合到一个统一的密集词表中，让注意力机制自主发现交互模式，取代了传统推荐系统中手工设计的交叉特征表示。目标感知多头注意力则把 token 化的稀疏特征和广告候选信息与用户行为序列融合，使用内存高效的多头注意力形式，让每层都能根据被评分的特定广告来加权用户历史行为。堆叠多个对齐的注意力…