事件經過
2021年3月10日00:47,OVHcloud位於史特拉斯堡、萊茵河畔工業區的資料中心園區中,SBG2機房的一個房間起火。消防人員無法控制火勢:SBG2於04:09完全燒毀,SBG1部分區域也隨之損毀,整個園區的電力被切斷——因此未受火勢波及的SBG3與SBG4也同樣停擺。無人受傷。
這次中斷規模龐大,因為OVHcloud本身規模龐大:它是歐洲最大的主機代管供應商,也是全球第三大。Netcraft統計共有360萬個網站、橫跨464,000個不同網域離線,其中包含59,600個.fr網域上的184,000個法國網站。受災者從西洋棋伺服器Lichess、遊戲《Rust》、加密貨幣交易所Deribit,到龐畢度中心、歐洲太空總署與比利亞雷阿爾足球俱樂部——而那些在史特拉斯堡以外沒有資料副本的客戶,發現災難復原建議形同虛設。
應變工作持續數月。OVH承諾在三到四週內提供10,000台新伺服器,並在魯貝與格拉夫林據點提供替代基礎設施;超過100名消防人員(包括萊茵河上的一艘抽水船)花了六個多小時才撲滅火勢。清理一個機櫃就要七小時。四月時,財務長稱復原工作是「一場真正的噩夢」,Klaba則稱之為「一場巨大的俄羅斯方塊」。OVH停止對受影響服務計費,並將起火原因交由警方與保險公司調查:UPS7當天早上才由供應商進行保養,而消防人員抵達時,UPS7與UPS8都在燃燒。
損害規模決定了SBG1的命運:它受損過重,永遠無法恢復。其機櫃經清理後被移至倖存的SBG3與SBG4機房,或魯貝與格拉夫林——一整座資料中心就此報廢。一棟建築裡的一場火,讓OVHcloud損失了兩座機房、數月「真正的噩夢」般的復原工作,也讓人發現:一個園區的安全程度,取決於它最缺乏備援的那棟建築。
代價
大火摧毀了SBG2,迫使SBG1遭到廢棄,並使360萬個網站離線。
事發原因
一個園區,一個開關:四座資料中心共用同一地點,一次預防性斷電就讓它們全部離線——SBG3與SBG4毫髮無傷,卻依然停擺。
疑似觸發原因十分日常:UPS7當天早上才由供應商保養,而消防人員抵達時,UPS7與UPS8都在燃燒——對單一故障點的維護。
產品假設客戶已有計畫:OVH的第一項指示是啟動災難復原計畫——對於資料只放在史特拉斯堡的客戶而言,這最後一道防線是空的。
復原成為第二筆帳單:機櫃以人工清理,每個耗時七小時,在COVID封鎖期間進行,而財務長在一個月後仍稱之為「一場真正的噩夢」。
教訓
一場火讓整個園區離線,因為所有東西都放在同一個地方。UPS當天早上才保養過——而對於沒有備份的客戶而言,雲端原來只是一棟建築。
追溯依據
參考來源
- The Register — OVH data centre destroyed by fire in Strasbourg – all services unavailable (10 Mar 2021: fire declared in SBG2; electricity cut across the whole site, taking SBG1-4 offline; customers told to activate business recovery plans; Klaba tweet: 'Fire destroyed SBG2. A part of SBG1 is destroyed.'; nobody hurt) theregister.com
- The Register — OVH outlines recovery plan as French data centres smoulder (10 Mar 2021: fire broke out in SBG2 at 00:47 CET, building destroyed completely by 04:09; Netcraft counts 3.6M websites across 464,000 domains offline; 10,000 new servers in 3-4 weeks; ESA and Villarreal among affected customers) theregister.com
- BleepingComputer — OVH data center fire likely caused by faulty UPS power supply (12 Mar 2021: UPS7 serviced by supplier the same morning; UPS7 and UPS8 both burning when firefighters arrived; SBG2 built in 2011; OVH the largest European hosting provider and third-largest worldwide; Lichess, Rust, Deribit, VeraCrypt and Centre Pompidou affected) bleepingcomputer.com
- Infosecurity Magazine — OVH Data Center Fire Impacts (15 Mar 2021: fire began 00:47 in a room of SBG2; SBG2 completely wiped out, four rooms of SBG1 destroyed; 100+ firefighters with a pump boat on the Rhine took over six hours; 184,000 French websites on 59,600 .fr domains offline (1.9% of the .fr namespace); replacement infrastructure in Roubaix and Gravelines; ~15,000 new servers promised) infosecurity-magazine.com
- The Register — OVH services still not fully restored as boss rates ongoing recovery efforts a 'real nightmare' (14 Apr 2021: SBG1 damaged so badly it won't be revived; rack cleaning takes seven hours each; CFO calls restoration 'a real nightmare', Klaba 'a huge Tetris'; restoration stats; no billing for affected services; COVID lockdown complications) theregister.com