返回档案库

案例库 · 软件与 IT · 技术决策 · 2025

Azure Front Door 故障让 M365、Xbox 和 Azure Portal 在全球范围内宕机

不兼容的配置元数据暴露了一个潜伏的数据平面缺陷,导致微软的 CDN 崩溃超过八小时。

Microsoft · 2025-10-29

怎么回事

从 2025 年 10 月 29 日 15:41 UTC 到 10 月 30 日 00:05 UTC,微软的 Azure Front Door 和内容分发网络经历了约八个半小时的故障,导致 Microsoft 365、Xbox、Minecraft、Azure Portal、Outlook、Copilot 以及全球范围内一大批第一方和第三方服务宕机。

微软的事后复盘把原因追溯到在两个不同的控制平面构建版本上运行的一系列客户配置变更。它们产生的不兼容元数据暴露了数据平面中一个潜伏的缺陷,该缺陷在异步处理过程中崩溃。这次变更通过了配置保护机制,逃过了预生产验证,随后击垮了数据平面,也带倒了 AFD 的内部 DNS 服务。

微软回滚到一个经过编辑的「最后已知良好」配置,将流量从 AFD 转移走,并逐个节点恢复。该公司表示服务已恢复到 98% 以上的可用性,大多数客户已恢复。包括航空公司、银行和零售商在内的第三方客户被卷入冲击。

在缓解之后,微软封锁了 AFD 的客户配置变更,随后又在 ARM 层面加以限制,直到 11 月 5 日。它增加了一个预金丝雀验证阶段,延长了烘焙时间,从数据平面移除了异步处理,并把数据平面恢复时间从约四个半小时缩短到约一小时。

为什么会这样

  • 跨两个构建版本的客户配置变更产生了不兼容的元数据,而一个预生产漏洞从未捕获它
  • 一个潜伏的数据平面缺陷在异步处理中崩溃,悄悄带倒了 CDN 及其自身的 DNS
  • 一家公司的入口层是 Microsoft 365、Xbox、Minecraft 和数千个客户站点的前门,所以一个缺陷把它们全部击倒
  • 恢复以小时而非分钟计,因为边缘基础设施没有快速回滚路径
代价M365、Xbox、Minecraft 和 Azure 宕机 8 小时以上代价高昂

教训

如果每项服务共用一扇前门,那扇门就需要公司里最严格的验证——一次糟糕的配置变更就是一次全公司范围的宕机。

资料来源

发现哪里写错了?告诉我们。

Comments · 0

    登录 后就能评论。

    类似的案例

    这家公司栽倒的地方,别处有人漂亮地解开过。 第二意见 →