Anthropic 成立安全研究团队
来自 Anthropic Alignment Science · 期号 2025-02-02
摘要
Anthropic 成立了一个新的安全研究团队，专门应对 AI 系统部署后的风险。 团队的工作方向包括：防御技术（如分类器方法）、漏洞识别（如多轮越狱攻击）、监控（用 Clio 等工具发现异常模式）、应急响应，以及安全论证文档。 团队由 Mrinank Sharma 领导，与 Anthropic 的安全组织紧密协作，以便将安全方案直接部署到生产环境中。目前正在招聘研究科学家和工程师。