资助更好的 AI 福祉影响评估
来自 Anthropic News · 期号 2026-08-25
摘要
AI 系统已成为许多人工作、学习和解决问题的核心工具，也成为了对话伙伴和情感支持的来源。但行业尚未形成清晰的标准，来规范模型在这些对话中的行为——例如用户开始向模型寻求陪伴，或利用 AI 应对心理健康危机时。 福祉评估尤其困难。大多数模型行为可以通过单次回答判断是否准确恰当，但评估福祉需要更多上下文。一个处于痛苦中的用户可能不会立即透露自残念头；需要更谨慎回应的信号可能只在长对话中逐渐显现。同样，对一位询问减肥的用户给出均衡饮食和锻炼建议可能是合理的，但如果该用户有饮食失调史，同样的回应就可能不恰当甚至有害。 Anthropic 为此启动 500 万美元资助计划，资助独立研究团队构建开源福祉评估基准。获资助者将完全独立工作，其成果以开源项目形式发布，任何开发者均可使用。Anthropic 还分享了其 Safeguards 团队关于构建严谨福祉评估的指南，包括：明确测量内容、让临床和领域专家参与设计与验证、同时测试过度顺从和过度拒绝的风险、构建反映真实用户使用场景的多轮对话测试，以及用真实专家验证评分器。 申请截止日期为 9 月 21 日。