用离线 RL 训练扩散模型加速 AI 搜索
来自 Google Research · 期号 2026-09-16
摘要
搜索或推荐系统现在需要返回一组互补的结果，而不是单个最佳匹配。比如搜「露营装备」，用户不想看到十款四人帐篷，而是帐篷、睡袋、便携炉头、头灯各一个。 传统做法是用 LLM 做 query fan-out，把一条宽泛的查询拆成多个子查询。但零样本 LLM 不熟悉目标数据库的几何结构，需要大量推理 token 才能生成一组多样、互补、有覆盖的结果，延迟很高。 Google Research 提出的 Retrieve-for-Train 框架换了一条路：用离线强化学习训练一个 4B 的 fan-out 语言模型，让它学会生成符合多样性、对齐度、数据库可检索性三项指标的优质子查询。然后把学到的行为蒸馏到一个 53.9M 参数的扩散模型里。 推理时，扩散模型在连续嵌入空间里一次性并行生成所有目标方向，不再需要逐 token 的思维链推理。在开放域抽象检索和弱监督组合检索两项任务上，Retrieve-for-Train 都超过了单查询搜索、零样本扩展和 Best-of-N 基线。 速度提升是最大的亮点：扩散模型比自回归方法快 12 到 20 倍。自回归在大批量下延迟接近 50 秒，而 Retrieve-for-Train-Diffusion 保持在亚秒到几秒之间。 论文发表在 ICML 2026，附了开源代码。