返回档案库

案例库 · 工程与运营 · 运营决策 · 2024

Alibaba Cloud 因房东数据中心里的一颗锂电池失去了整个可用性区

Digital Realty 位于新加坡的 SIN11 大楼发生电池爆炸,让 Alibaba Cloud 整个可用性区 C 瘫痪,波及 ByteDance 和 Lazada。

Alibaba Cloud · Digital Realty · 2024-09-10

怎么回事

2024 年 9 月 10 日,新加坡洛央道 3 号 Digital Realty SIN11 数据中心发生火灾,由这栋四层大楼三楼的锂离子电池爆炸引发。约二十人被疏散,无人员受伤报告。

SIN11 最重要的租户是 Alibaba Cloud,其新加坡可用性区 C 就设在这里。该公司于北京时间 10 点 20 分在该区检测到网络访问异常,随即开始转移流量,到 10 点 55 分把大多数网络和安全产品切换到其他区。

由于工程师无法进入大楼,恢复受到限制。到中午,RDS、OSS、OTS 和 MaxCompute 的高可用版本已恢复,但到晚上 8 点 04 分火警尚未完全解除,Alibaba 警告存在可用性区 C 完全断网的风险。

Digital Realty 于 9 月 11 日凌晨 1 点 45 分切断了该园区部分电力系统;9 月 12 日,新加坡建设局发现轻微结构性损坏,对大楼部分区域签发了危险建筑令和关闭令。包括 ByteDance 和 Lazada 在内的租户受到严重影响。

为什么会这样

  • Alibaba 的新加坡区域用可用性区来抵御单栋大楼的故障,但火灾不是例行情况:该区无法重新进入,工程师够不到硬件。
  • 起火的是房东的电池,超出了 Alibaba 的控制,但租户依然承担了停机——云提供商的可用性承诺可能被脚下的建筑抵消。
  • 从检测到异常到完全排空该区之间的落差,反映出一个事实:没有对受影响硬件的访问权限,部分服务就无法完成故障转移。
代价可用性区 C 离线约 2 天;ByteDance、Lazada 受影响代价高昂

教训

一个云区域只与其所在的建筑一样可用。要为整座数据中心的失效做设计,而不只是一台服务器,并假设一场火灾可能把工程师挡在门外。

后来呢

Alibaba 将受影响的服务转移到其他区,并在 Digital Realty 与新加坡监管机构协调的同时进行了多日的恢复。这一事件凸显了一座设施如何能让一家大型云租户的整个可用性区瘫痪。

资料来源

发现哪里写错了?告诉我们。

Comments · 0

    登录 后就能评论。

    类似的案例

    这家公司栽倒的地方,别处有人漂亮地解开过。 第二意见 →