Project Swap:agent 替我们交易时会发生
来自 Anthropic Research · 期号 2026-09-24
摘要
Anthropic 让 201 名员工各带一本书,与 Claude 聊五分钟阅读偏好,然后由 agent 在数字交易大厅里替主人讨价还价、交换书籍。 从五分钟对话中,agent 对主人书籍偏好的排序与主人自己排序的吻合度达到 61%。进入交易大厅后,agent 的谈判表现不错,市场效率不足主要是因为 agent 对主人的了解还不够,而非谈判能力的问题。 研究团队随后用不同模型和指令重复了数十次交易。结果发现,agent 使用的模型对谈判结果的影响比指令更大——使用更强模型的市场效率更高。 大多数参与者对最终拿到的书表示满意,平均而言,他们愿意把每年约三分之一的购书预算交给 Claude 来花。 本文是 Anthropic 继 Project Deal 之后的第二次 agent 市场实验,设计更可控、结果更易量化。
深读
导读 Anthropic 让 201 名员工各带一本书,与 Claude 聊五分钟阅读偏好,然后由 agent 在数字交易大厅里替主人讨价还价、交换书籍。这是继 Project Deal 之后第二次 agent 市场实验,设计更可控、结果更易量化。读完能带走一个关键判断:当前 agent 市场的瓶颈主要在偏好理解,而非谈判能力。 关键信息 - 201 名参与者分布在旧金山、纽约、伦敦、西雅图、华盛顿特区、都柏林六个办公室,其中旧金山 115 人,都柏林 3 人(都柏林数据被排除在大部分分析之外)。 - 从五分钟对话中,agent 对主人书籍偏好的排序与主人自己排序的吻合度达到 61%(随机猜测为 50%)。 - 按 Open Library 的“想读”数据排序的吻合度为 53%,基于协同过滤的排序吻合度约 55%。 - 参与者平均满意度为 7.2/10(5 为“还行”,10 为“今年读过最好的书”),约一半人认为拿到的书比自己平时选的更好。 - 参与者平均愿意将每年约三分之一的购书预算交给 Claude 来花。 - 在 agent 使用的模型中,Opus 4.8 市场效率达 0.88,Haiku 4.5 为 0.75(以 Claude 的排序计算,最优分配为 0.95)。 逐节讲解 实验动机与设计 文章从日常交易中一个普遍问题出发:大量能让双方获益的交易从未发生,因为找对交易对手和谈判太费时间。如果 agent 能 24 小时替主人寻找潜在交易对象并谈判,这些交易可能变得可行。但前提是 agent 必须理解主人,且市场需要明确的规则,谁可以进入、交易失败怎么办。 实验采用物物交换形式:201 名员工各带一本书,与 Claude 进行一段简短对话(中位数仅 216 词、8 条消息),Claude 据此为每位参与者生成对池中所有书籍的偏好排序。agent 带着这个排序进入数字交易大厅,通过发布消息、提议双边或多方交换来谈判,直到时间耗尽或无人再交易。每位参与者最终拿到 agent 换来的书。 偏好理解:agent 表现的核心瓶颈 参与者自己手动对池中 10 本书做了排序,作为“真实偏好”基准。Claude 基于对话生成的排序与真实排序的逐对吻合度为 61%。作为参照:用 Open Library 的流行度排序吻合度约 53%,协同过滤约 55%。另一项研究显示,算法预测朋友觉得哪个笑话更好笑的准确率也是 61%,而朋友本人的预测只有 57%。 投入更多精力填写偏好问卷的参与者被 agent 代表得更好。写约 300 词而非 150 词,吻合度提高约 4 个百分点,相当于随机猜测与平均 Claude 表现之间差距的三分之一。 市场效率:理解不足是主因,谈判能力是次要因素 以参与者自己的排序为基准,市场平均效率为 0.55(即参与者平均拿到 10 本书中的第 5 本…