近期三次问题的故障复盘
来自 Anthropic Engineering · 期号 2025-09-17
摘要
Anthropic 发布了一份技术复盘，解释 8 月初至 9 月初 Claude 响应质量间歇性下降的原因。 三个 bug 相互叠加，使诊断变得困难。第一个 bug 在 8 月 5 日引入，约 0.8% 的 Sonnet 4 请求被错误路由到为 1M token 上下文窗口配置的服务器。8 月 29 日的一次负载均衡变更意外放大了影响，到 8 月 31 日最严重时，16% 的 Sonnet 4 请求被波及。 Anthropic 明确表示，他们从未因需求、时段或服务器负载而降低模型质量，用户报告的问题完全由基础设施 bug 导致。修复后，团队正在改进检测与回滚机制。 本文是罕见的技术细节公开，原文附有时间线与各平台受影响比例。
深读
导读 Anthropic 罕见地公开了一份技术复盘，详细解释了 2025 年 8 月初至 9 月初 Claude 响应质量间歇性下降的根本原因。三个独立的基础设施 bug 相互叠加，导致诊断异常困难。读完本文，你将了解这些 bug 的具体机制、它们如何被引入和放大，以及 Anthropic 为预防类似问题正在做出的改进。 关键信息 - 第一个 bug 于 8 月 5 日引入，约 0.8% 的 Sonnet 4 请求被错误路由到为即将推出的 1M token 上下文窗口配置的服务器。 - 8 月 29 日的一次常规负载均衡变更意外放大了影响，到 8 月 31 日受影响最严重的一小时内，16% 的 Sonnet 4 请求被波及。 - 第二个 bug 导致 Opus 4.1 和 Opus 4（8 月 25-28 日）以及 Sonnet 4（8 月 25 日-9 月 2 日）在 TPU 服务器上产生输出损坏，例如在英文回答中混入泰文字符。 - 第三个 bug 源于 XLA:TPU 编译器中的一个潜在问题，被 8 月 25 日部署的采样代码重写所触发，影响了 Claude Haiku 3.5，并可能波及了部分 Sonnet 4 和 Opus 3 请求。 - Anthropic 明确声明，他们从未因需求、时段或服务器负载而降低模型质量，用户报告的问题完全由基础设施 bug 导致。 逐节讲解 问题背景与声明 Anthropic 首先澄清了问题的性质：从 8 月初到 9 月初，三个独立的基础设施 bug 间歇性地降低了 Claude 的响应质量。他们强调，公司从未因需求、时段或服务器负载而主动降低模型质量，所有用户报告的问题都源于基础设施 bug。这篇复盘旨在解释发生了什么、为何修复耗时较长，以及正在做出的改进。 三个叠加的 bug 1. 上下文窗口路由错误。 8 月 5 日，部分 Sonnet 4 请求被错误路由到为即将推出的 1M token 上下文窗口配置的服务器。该 bug 最初影响 0.8% 的请求。8 月 29 日的一次常规负载均衡变更无意中增加了短上下文请求被路由到 1M 上下文服务器的数量。到 8 月 31 日受影响最严重的一小时，16% 的 Sonnet 4 请求被波及。由于路由具有“粘性”，一旦某个请求被错误服务器处理，后续请求也大概率被同一错误服务器处理，导致部分用户受影响更严重。修复于 9 月 4 日部署，到 9 月 16 日完成在自有平台和 Google Cloud Vertex AI 上的推广，9 月 18 日完成在 AWS Bedrock 上的推广。 2. 输出损坏。 8 月 25 日，一个运行时性能优化导致的配置错误被部署到 Claude API 的 TPU 服务器上。该错误偶尔会为在上下文中本应极少出现的 token（例如在英文提示中输出泰…