CORAL：面向生产推荐系统的 LLM 原生框架
来自 arXiv · 期号 2026-09-02
摘要
推荐系统需要持续优化，但传统做法靠人工做在线实验，反应慢、覆盖不全。 CORAL 是一个 LLM 驱动的闭环框架：每轮循环中，agent 观察系统运行信号、回顾历史决策与效果，然后调用工具（包括一个数值优化器，确保改动不超出预算）来重新配置推荐器，下一轮再用实测结果指导决策。整个过程不更新模型参数，只靠上下文中的策略改进。 在两个大型社交平台上做了 A/B 测试：一个平台在服务成本不变的情况下提升了用户参与度，另一个平台在参与度不降的情况下降低了服务成本。效果随循环轮次增加而持续改善。 论文附了开源代码。
深读
导读 推荐系统上线后需要持续优化，但传统做法依赖工程师手动做在线实验，反应慢且覆盖不全。CORAL 提出一个由 LLM 驱动的闭环框架，让 agent 像算法工程师一样观察信号、回顾历史、调用工具来重新配置推荐器，并在两个大型社交平台的 A/B 测试中验证了效果。读完能了解一种将 LLM 用于生产系统持续优化的具体思路，以及它在真实场景中的表现。 关键信息 - CORAL 将推荐系统的持续优化建模为部分可观测、非平稳、带约束的优化问题，策略改进完全在上下文（in context）中完成，不更新模型参数。 - 框架包含一个数值优化器，确保每次对推荐器的改动都保持在固定的运营预算（operating budget）内。 - 在两个大型社交平台上做了 A/B 实验：一个平台在服务成本不变的情况下提升了用户参与度，另一个平台在参与度不降的情况下降低了服务成本。 - 效果随循环轮次增加而持续改善，论文附了开源代码。 逐节讲解 问题背景与现有局限 生产推荐系统决定了数十亿人看到的内容，其性能需要持续优化：随着内容、用户行为和上游模型的变化，检索、排序和服务环节的配置必须不断调整。传统做法由人类工程师通过在线实验来测试改动，这是一个缓慢、被动的过程，受限于工程人力，导致系统在条件变化时部分环节得不到及时更新。虽然 LLM 已被用于排序、用户建模和离线模型开发，但很少有系统让 agent 进入一个持续的闭环，直接作用于线上推荐器并从自身决策的实际效果中学习。 CORAL 框架设计 CORAL（Constraint-Optimized Recommender via an Agentic Loop）是一个 LLM 原生的闭环框架。每个循环中，agent 先观察系统运行信号，再回顾存储了历史决策与结果的内存（memory），然后调用工具来重新配置推荐器，其中包含一个数值优化器，确保改动不超出固定的运营预算。下一轮循环再用实测结果指导决策。整个过程不更新模型参数，策略改进完全依赖上下文中的历史经验。 实验验证与结论 论文在两个大型社交平台上做了 A/B 测试。同一套 CORAL 框架在第一个平台上不增加服务成本就提升了用户参与度，在第二个平台上不降低参与度就减少了服务成本，覆盖了参与度与效率的前沿（engagement-efficiency frontier）。效果随循环轮次增加而持续改善，表明单个 agent 闭环可以自动化传统上由人类算法工程师在显式护栏下完成的持续优化工作。 值得注意 原文是论文摘要（content_source 为 abstract），只给出了 CORAL 的框架概述和实验结果，没有展开 agent 的具体推理方式、内存结构、数值优化器的实现细节，以及两个社交平台的具体规模与业务类型。这些信息需要阅读论文全文才能获得。