案例库 · 工程与运营 · 技术决策 · 2017
一名承包商关掉了一路电源——英国航空瘫痪了三天,损失 1 亿美元
一名承包商意外切断了英国航空数据中心的电源。这次不受控的恢复供电引发了电涌,摧毁了服务器,让这家航空公司瘫痪了三天
英国航空 · 2017-05-27
怎么回事
2017 年 5 月 27 日,一个银行假日周末,英国航空位于希思罗机场附近博阿迪西亚楼数据中心的一名维护承包商,意外关闭了为该场地服务器供电的不间断电源系统。
随后电力被重新接通,但并不是像不间断电源系统设计所假设的那样逐步恢复——它是以一次不受控的电涌形式恢复的,物理损毁了整个场地的服务器和网络设备,而这正是英国航空自己的备用电源设计从未考虑过要抵御的一种情况。
这家航空公司在三天内取消了约 800 个航班,导致约 7.5 万名乘客滞留在希思罗和盖特威克机场。国际航空集团(IAG)首席执行官威利·沃尔什称这是人为失误,表示切断电源出错是有可能发生的,但以那种方式重新接通电源,则更难解释。分析师估计,总损失接近 1 亿美元。
为什么会这样
- 单单一名承包商在一个场地上的一次操作,就能让英国航空整个运营瘫痪,因为这条备用电源路径,没有任何机制去应对一次不受控的重新接通电涌。
- 不间断电源系统本该正是为了防止这类停电而存在的,而真正摧毁服务器的失效模式,是重新接通电源的过程,而不是备用电源本身的缺失。
- 一次数据中心事故就导致了三天的航班取消,说明这项业务在主用场地重建期间,没有任何经过测试的备用运行方案可以切换。
代价取消 800 个航班,7.5 万人滞留,损失约 1 亿美元代价高昂
教训
一套能扛住断电、却扛不住恢复供电的备用电源系统,防的是错误的那种故障。重新接通电源的这道流程,本该获得与切断电源同等的设计关注。
后来呢
英国航空委托了一项针对这次电力故障的独立调查。国际航空集团承担了约 1 亿美元的赔偿、改签和收入损失,这家航空公司也因其 IT 系统的抗风险能力而持续受到批评。
资料来源
发现哪里写错了?告诉我们。
类似的案例
这家公司栽倒的地方,别处有人漂亮地解开过。 第二意见 →

Comments · 0
登录 后就能评论。