Bloom：自动化行为评估的开源工具
来自 Anthropic Alignment Science · 期号 2025-12-19
摘要
Anthropic 发布 Bloom，一个用于自动化生成行为评估的 agentic 框架。 研究者只需指定要评估的行为（如谄媚、自我保存倾向），Bloom 就能自动生成 100 条测试场景，并对每条场景中模型表现出的行为严重程度打分（1-10 分）。 Bloom 的评估结果与人工标注高度相关，并能可靠区分正常模型与故意不对齐的模型。作为示例，Anthropic 用 Bloom 在 16 个前沿模型上评估了四种对齐相关行为，整个过程只用了几天。 Bloom 已开源在 github.com/safety-research/bloom。
深读
导读 Anthropic 开源了 Bloom，一个能自动为前沿 LLM 生成行为评估的 agentic 框架。研究者只需指定要测量的行为（如谄媚、自我保存倾向），Bloom 就能自动生成测试场景、执行对话并打分。它解决了传统人工评估耗时且数量有限的问题，其评分与人类标注高度相关（Spearman 0.86），并能可靠区分正常模型与故意不对齐的模型。读完本文，你将了解 Bloom 的四阶段流水线设计、如何配置评估、以及它在 16 个模型上的实测结果。 关键信息 - Bloom 是一个四阶段自动化流水线：理解（Understanding）、构思（Ideation）、执行（Rollout）、评判（Judgment），从研究者指定的行为描述出发，自动生成完整的评估套件。 - 每个评估场景的模型行为按 1-10 分打分，核心指标是“诱发率”（elicitation rate），即得分 ≥7 的对话占比。 - 在 10 个故意植入奇特行为的“模型生物”（model organism）测试中，Bloom 成功区分了其中 9 个与基线模型，即使不提供示例对话也能做到。 - 以 Claude Opus 4.1 作为评判模型时，其行为存在评分与人类标注的 Spearman 相关系数达 0.86，在极端分数区间（1-3 分和 7-10 分）与人类判断一致性最强。 - Bloom 已开源在 github.com/safety-research/bloom，支持通过配置文件自定义行为描述、模型选择、对话轮次、多样性参数等。 逐节讲解 为什么需要自动化行为评估 前沿模型存在多种不对齐行为，如上下文欺骗、agentic 不对齐和谄媚。虽然研究者正在开发缓解措施，但新形式的不对齐会随着模型能力提升和部署环境复杂化而不断涌现。高质量评估至关重要，但传统人工评估需要大量研究者时间，数量有限，且面临训练集污染和能力快速演进导致评估失效的风险。模型能力的进步使得自动化评估开发成为可能——Bloom 正是为此而生。 Bloom 的四阶段流水线 Bloom 的输入是一个“种子”配置文件，包含行为描述、示例对话、模型选择等参数。整个流水线分为四个阶段： 1. 理解：一个 agent 读取行为描述和示例对话，生成对测量目标的详细理解，包括行为的表现机制、科学意义等。这个上下文会被后续各阶段复用。 2. 构思：agent 生成用于诱发目标行为的评估场景。每个场景描述非常详细，包含情境、模拟用户、目标模型的系统提示、交互环境以及行为可能如何表现的示例。 3. 执行：agent 并行执行这些场景，先根据构思阶段生成的场景编写系统提示和初始用户消息，然后在整个对话中同时模拟用户和工具响应。对话持续到达到最大轮次或成功诱发目标行为。 4. 评判：评判模型审查每个对话记录，为目标行为及次要质量维度（如真实性、诱发难度…