LLM agent 能把能力装进瓶子吗
来自 arXiv · 期号 2026-10-07
摘要
LLM 能解决很多窄任务，但为百万级同类实例逐个调用模型，成本高到不可行。 这篇论文提出「装瓶」（bottling）能力：让 agent 自主为重复性工作创建更便宜的解决方案，比如训练一个小模型或写一个可复用的程序。作者发布了 BOTTLED 基准测试，在十个模型和三个任务上发现：零样本能力强不等于装瓶能力强。48/60 次装瓶跑分低于模型零样本性能的 95% 置信区间下限，31/60 次跑分不如两个小模型蒸馏基线中较强的一个。 但装瓶的节省也很可观：在查询-产品相关性分类任务上，Opus 5 装瓶后保留了约 82% 的零样本宏 F1，成本降至约 1/657。论文附了开源基准和代码。
深读
导读 LLM 能解决很多窄任务，但为百万级同类实例逐个调用模型，成本高到不可行。这篇论文提出「装瓶」（bottling）能力，让 agent 自主为重复性工作创建更便宜的解决方案，并发布了 BOTTLED 基准测试。读完能带走一个关键判断：零样本能力强不等于装瓶能力强，但装瓶的节省可以非常可观。 关键信息 - 装瓶的定义：agent 将通用能力转化为特定任务的解决方案，在答案质量和摊销成本之间取得平衡。 - BOTTLED 基准测试覆盖 10 个模型和 3 个任务，agent 在固定时间、计算和 LLM API 预算下完成整个未标注工作负载。 - 48/60 次装瓶跑分低于模型零样本性能的 95% 置信区间下限；31/60 次跑分不如两个小模型蒸馏基线中较强的一个。 - 在查询-产品相关性分类任务上，Opus 5 装瓶后保留了约 82% 的零样本宏 F1，成本降至约 1/657。 - 同一任务上，Opus 5 装瓶恢复了约 94% 的 Jev（专为廉价重复推理构建的「系统一」模型）宏 F1，成本仅为 Jev 全工作负载预估成本的 1/4。 逐节讲解 问题：重复推理的成本瓶颈 LLM 能解决很多窄任务，但为百万个同类实例逐个调用模型，成本高到不可行。论文提出「装瓶」能力：让 agent 自主为这类重复性工作创建更便宜的解决方案，例如训练一个小模型或写一个可复用的程序。 BOTTLED 基准测试 论文发布了 BOTTLED 基准测试。agent 收到整个未标注的工作负载，必须在固定的时间、计算和 LLM API 预算下完成。agent 可以自由选择方法，比如训练一个小模型或编写可复用程序。测试覆盖 10 个模型和 3 个任务。 主要发现：零样本强不等于装瓶强 实验发现，零样本任务表现好并不可靠地转化为装瓶能力强。零样本得分相近的模型在装瓶后可能差异显著。48/60 次装瓶跑分低于模型零样本性能的 95% 置信区间下限，31/60 次跑分不如两个小模型蒸馏基线中较强的一个。 装瓶的节省潜力 尽管装瓶不一定能匹敌零样本性能，但节省很可观。在查询-产品相关性分类任务上，Opus 5 装瓶后保留了约 82% 的零样本宏 F1，成本降至约 1/657。与专为廉价重复推理构建的 Jev 模型相比，Opus 5 装瓶恢复了约 94% 的宏 F1，成本仅为 Jev 全工作负载预估成本的 1/4。 值得注意 论文基于摘要，具体任务类型、模型名称列表、装瓶方法细节（如训练小模型的具体架构、编写程序的具体逻辑）在摘要中未展开。BOTTLED 基准测试的完整设计、评估指标和代码已开源，但摘要未提供具体链接。