GenRecs Tokenization
来自 Meta Engineering · 期号 2026-10-20
摘要
Meta 的广告推荐系统过去给每个商品、广告、页面都分配一个独立 ID，新商品上线时模型对它一无所知。 GenRecs Tokenization 用一套稳定的语义词表替代了独立 ID。每个广告、商品、页面都被编码成一段离散 token，同类商品共享 token，新上线的「越野跑鞋」直接继承模型对上一季跑鞋学到的知识。 这套方案配合 Meta 的 GEM 和 Adaptive Ranking Model，在广告转化率上带来 +0.35% 的提升。 Tokenizer 的质量可以用三个指标衡量：同类商品是否聚到同一个 code（cluster purity）、商品是否均匀分布到各个 code（distribution balance）、词表里有多少 code 被实际用到（codebook utilization）。这三个指标与下游排序准确率强相关。 长尾广告的预测质量提升后，训练数据也随之改善，反过来又提升所有广告的预测质量，形成一个自我强化的飞轮。 原文是工程复盘，附了 tokenizer 的三阶段流水线（编码 → 分解 → 量化）和多种组合方案。