把数据库评分变成 RL 奖励：用 ThinkingBox
来自 Hugging Face · 期号 2026-10-23
摘要
微软和 Hugging Face 联合发布了 ThinkingBox，一种把数据库最终状态的检查结果当作强化学习奖励的方法。 核心思路是：agent 完成任务后，不是看它调用了哪些工具，而是直接检查数据库里该改的记录改对了没有。这个检查结果可以返回 1 或 0，正好当作 GRPO 训练的奖励信号。 训练前先做一次离线筛选：用当前模型试一遍候选任务，只保留那些「还没完全掌握、但也不是完全不会」的任务。这个池子固定下来，训练过程中不再重新评估难度。 用 Qwen3.8-27B 跑了 50 步 GRPO 后，在 507 道题的 ThinkingBox-Bench 上，20 次全对的任务从 38 个（7.50%）涨到 107 个（21.10%），平均成功率从 51.70% 升到 60.78%。每个可靠任务的成本从 $24.36 降到 $8.00，接近 GPT-5.4 和 Claude Opus 5.5 的水平。 论文和训练代码已开源。
深读
导读 微软与 Hugging Face 联合发布的 ThinkingBox，将数据库最终状态的检查结果直接转化为强化学习奖励信号。核心发现是：用 GRPO 对 Qwen3.8-27B 做 50 步后训练后，20 次全对的任务从 38 个涨到 107 个，每个可靠任务的成本从 $24.36 降到 $8.00。这篇文章详细解释了训练池筛选方法、奖励回路设计，以及为什么「可重复成功」比「至少成功一次」更能衡量生产级可靠性。 关键信息 - ThinkingBox-Bench 包含 507 道数据库操作题，每道题给 agent 一个真实后端和 MCP 工具集，最终通过检查数据库记录是否改对来打分，不看工具调用过程。 - 训练前用离线策略相对难度筛选：对每个候选任务用 base 模型跑 n 次，用 Jeffreys 后验概率估算成功率，只保留后验质量落在 0.08–0.90 区间的任务（太难或太简单的都去掉），最终训练池固定为 187 道题。 - 50 步 GRPO 后，Qwen3.8-27B 的 pass@1 从 51.70% 升到 60.78%，Observed 20/20 从 38 个任务（7.50%）涨到 107 个（21.10%），而 pass@20 从 89.35% 微降至 87.97%。 - 每个可靠任务成本从 $24.36 降至 $8.00，接近 GPT-5.4（$6.80）、GPT-6 Astra（$7.45）和 Claude Opus 5.5（$7.80）的水平。 - 训练池与 ThinkingBox-Bench 的领域、数据库和大部分 MCP 工具不重叠，属于分布外测试；但两者共享 ThinkingBox 框架、模拟用户机制和可执行终端状态评分。 逐节讲解 基准测试的核心发现 ThinkingBox-Bench 的 507 道题覆盖零售、车险、旅行、数字银行、咨询五个领域。每道题启动一个真实后端，给 agent 一套 MCP 工具和一个带私有上下文的模拟 LLM 用户，最终只检查数据库记录是否正确，不关心 agent 调用了哪些工具。作者在第一篇博客中已经发现，Kimi-K3 的 pass@1 高达 93.89%，但 20 次全对的任务只有 68 个（13.41%）；Claude Opus 5 的 pass@1 更低，但 20 次全对的任务达到 241 个。更大的模型也不一定能缩小这个差距：Claude Opus 5.5 的 pass@1 只比 Claude Opus 5 高 0.66 个百分点，20 次全对的任务数完全相同（241 个）。结论是：对于涉及生产数据库记录的工作，不能只看 pass@1。 训练后的效果与成本 用 Qwen3.8-27B 做 50 步 GRPO 后，Observed 20/20 从 38 个（7.50%）涨到 107 个…