Balyasny 如何评估和治理 Claude
来自 Claude Blog · 期号 2026-09-17
摘要
Balyasny Asset Management（BAM）首席 AI 官 Charlie Flanagan 解释了公司如何在上线前用数千个真实金融任务评估 Claude Fable 5。 Fable 在相关子集上得分 89.4%，上一代模型为 86.1%。它首次完成了一组此前所有模型都未能通过的金融问题——BAM 最初以为是评测 bug，重新验证后才确认。 BAM 自建了 agent 平台 BAMAgent，目前支持数千个自主 agent 7×24 小时运行。一个并购套利分析过去需要 3-5 天，现在不到一天。 安全策略围绕工具权限和人工审核展开，不因模型能力更强就自动扩大其权限。Fable 只能使用该用户和任务已批准的系统和数据。
深读
导读 Balyasny Asset Management (BAM) 首席 AI 官 Charlie Flanagan 详细解释了这家管理约 380 亿美元资产的全球多策略投资公司如何在上线前用数千个真实金融任务评估 Claude Fable 5，以及围绕工具权限和人工审核构建的安全治理体系。读完能了解一家顶级金融机构在将前沿模型投入生产时的评估标准、安全策略和 agent 基础设施设计思路。 关键信息 - BAM 管理约 380 亿美元资产，支持约 2,000 名投资专业人士和员工。 - 在数千个真实金融任务的测试子集上，Fable 5 得分 89.4%，上一代生产模型为 86.1%。 - Fable 5 首次完成了一组此前所有模型都未能通过的经济学问题——BAM 最初以为是评测 bug，重新验证并与 Anthropic 复核后才确认改进真实。 - 并购套利分析过去需要 3 到 5 天，现在不到一天，其中 agent 运行约 30 分钟，人工审核后才使用最终产出。 - BAM 自建 agent 平台 BAMAgent，已开发六个月，目前支持数千个自主 agent 7×24 小时运行。 - 安全策略的核心是：更强大的模型不会因为推理或规划能力更强就自动获得更广泛的权限，模型只能使用该用户和任务已批准的系统和数据。 逐节讲解 从搜索到工作的转变 Flanagan 认为 2026 年是 BAM 从「AI 做搜索」转向「AI 做工作」的一年。关键变化不仅是模型本身，还包括 Claude Code 等外围工具，使得 AI 能够接受一个目标而非一条 prompt，并持续工作直到完成。以并购套利分析为例，agent 现在能构建初始交易分析包，估算交易完成概率和所需时间，提取关键经济和法律条款，识别条件和里程碑，并标记需要投资者判断的领域。过去这项工作需要 3 到 5 天，现在不到一天，其中 agent 运行约 30 分钟，人工审核后才使用产出。 用数千个真实金融任务评估模型 BAM 投资了稳健的评估系统，在数千个具有可验证结果的实际金融任务上测试新模型，覆盖股票、宏观和大宗商品，而非依赖通用 benchmark 或孤立演示。测试既包括模型本身，也包括其在 BAM agent 环境中的表现，使用与用户相同的工具、文件和需求。评估关注规划、工具选择、证据查找与分析、错误恢复、中间结果检查以及生成有依据的交付物，同时寻找数值错误、覆盖遗漏、无依据结论和检索问题等特定失败模式。Fable 5 在相关子集上得分 89.4%，上一代模型为 86.1%。最令人惊讶的是，它完成了一组此前所有模型都未能通过的经济学问题——BAM 最初以为是评测问题，重新验证并与 Anthropic 复核后才确认改进真实。 安全是产品和运营模式问题 BAM 将安全视为产品和运营模式问题，而非一次性的模型选…