案例库 · 软件与 IT · 技术决策 · 2021
OVHcloud:一场大火瘫痪了斯特拉斯堡两座数据中心,360 万网站离线
疑似 UPS 火灾摧毁了 OVHcloud 的 SBG2 楼并波及 SBG1;360 万网站陷入瘫痪,恢复工作持续数月
OVHcloud · 2021-03-10
怎么回事
2021 年 3 月 10 日 00:47,OVHcloud 位于斯特拉斯堡莱茵河畔工业区的数据中心园区 SBG2 楼一个房间内起火。消防员无法控制火势:SBG2 在 04:09 被完全烧毁,SBG1 部分区域被波及,整个园区断电——因此未受火焰波及的 SBG3 和 SBG4 也陷入了黑暗。无人受伤。
这场事故范围巨大,因为 OVHcloud 本身规模巨大:它是欧洲最大的托管服务商,全球排名第三。Netcraft 统计有 360 万个网站(横跨 46.4 万个独立域名)离线,其中包括 5.96 万个 .fr 域名上的 18.4 万个法国网站。受影响者从国际象棋服务器 Lichess、游戏 Rust 和加密货币交易所 Deribit,到蓬皮杜中心、欧洲航天局和比利亚雷亚尔足球俱乐部——而那些在斯特拉斯堡以外没有数据副本的客户发现灾难恢复建议完全是空话。
应对工作持续了数月。OVH 承诺在三到四周内提供 1 万台新服务器,并在其鲁贝和格拉沃利讷站点部署替代基础设施;包括莱茵河上的一艘泵船在内的 100 多名消防员花了六个多小时才将火扑灭。清洁一台机架需要七个小时。4 月,CFO 将恢复工作称为「真正的噩梦」,创始人 Klaba 称之为「巨大的俄罗斯方块」。OVH 停止了对受影响服务的收费,并将原因交由警方和保险公司处理:UPS7 当天早上刚由供应商维护过,而消防员到达时 UPS7 和 UPS8 都在燃烧。
破坏规模决定了 SBG1 的命运:受损严重,无法恢复。其机架被清洁后移至幸存的 SBG3 和 SBG4 楼,或运至鲁贝和格拉沃利讷——整座数据中心被废弃。一场建筑内的一场火灾让 OVHcloud 损失了两座楼、数月的「真正噩梦」式恢复,并发现一个园区只与其最缺乏冗余的建筑一样安全。
为什么会这样
- 一个园区,一个开关:四座数据中心共享同一个场地,预防性停电使它们全部离线——SBG3 和 SBG4 未被烧毁,却仍然陷入黑暗
- 疑似触发因素是例行操作:UPS7 当天早上刚由供应商维护过,而消防员到达时 UPS7 和 UPS8 都在燃烧——单点故障上的一次维护
- 产品假设客户已有预案:OVH 的第一条指示是激活灾难恢复计划——对于数据仅存于斯特拉斯堡的客户来说,这条最后防线是空的
- 恢复成为第二笔账单:在疫情封锁期间,机架靠人工清洁,每台七小时,CFO 一个月后仍称之为「真正的噩梦」
教训
一场火灾让整个园区瘫痪,因为一切都在同一个地方。UPS 当天早上刚维护过——而对于没有备份的客户来说,云不过是一栋建筑。
资料来源
- The Register — OVH data centre destroyed by fire in Strasbourg – all services unavailable (10 Mar 2021: fire declared in SBG2; electricity cut across the whole site, taking SBG1-4 offline; customers told to activate business recovery plans; Klaba tweet: 'Fire destroyed SBG2. A part of SBG1 is destroyed.'; nobody hurt)
- The Register — OVH outlines recovery plan as French data centres smoulder (10 Mar 2021: fire broke out in SBG2 at 00:47 CET, building destroyed completely by 04:09; Netcraft counts 3.6M websites across 464,000 domains offline; 10,000 new servers in 3-4 weeks; ESA and Villarreal among affected customers)
- BleepingComputer — OVH data center fire likely caused by faulty UPS power supply (12 Mar 2021: UPS7 serviced by supplier the same morning; UPS7 and UPS8 both burning when firefighters arrived; SBG2 built in 2011; OVH the largest European hosting provider and third-largest worldwide; Lichess, Rust, Deribit, VeraCrypt and Centre Pompidou affected)
- Infosecurity Magazine — OVH Data Center Fire Impacts (15 Mar 2021: fire began 00:47 in a room of SBG2; SBG2 completely wiped out, four rooms of SBG1 destroyed; 100+ firefighters with a pump boat on the Rhine took over six hours; 184,000 French websites on 59,600 .fr domains offline (1.9% of the .fr namespace); replacement infrastructure in Roubaix and Gravelines; ~15,000 new servers promised)
- The Register — OVH services still not fully restored as boss rates ongoing recovery efforts a 'real nightmare' (14 Apr 2021: SBG1 damaged so badly it won't be revived; rack cleaning takes seven hours each; CFO calls restoration 'a real nightmare', Klaba 'a huge Tetris'; restoration stats; no billing for affected services; COVID lockdown complications)
发现哪里写错了?告诉我们。
类似的案例
这家公司栽倒的地方,别处有人漂亮地解开过。 第二意见 →

Comments · 0
登录 后就能评论。