OVHcloud: 화재 한 건으로 스트라스부르 데이터센터 두 곳과 웹사이트 360만 개가 오프라인되다

2021년 3월 10일 00시 47분, 라인강변 산업지대에 있는 OVHcloud 스트라스부르 데이터센터 캠퍼스의 SBG2 홀 내 한 방에서 화재가 발생했다. 소방대는 불길을 통제하지 못했다. SBG2는 04시 09분까지 완전히 파괴되었고, SBG1의 일부도 함께 소실되었으며, 사업장 전체의 전력이 차단되었다. 그 결과 불길이 닿지 않은 SBG3와 SBG4도 함께 먹통이 되었다. 인명 피해는 없었다.

정전 규모가 컸던 것은 OVHcloud가 거대한 사업자이기 때문이다. 유럽 최대, 세계 3위의 호스팅 제공업체다. Netcraft는 464,000개의 서로 다른 도메인에 걸친 웹사이트 360만 개가 오프라인되었다고 집계했으며, 그중에는 59,600개의 .fr 도메인에 있는 프랑스 사이트 184,000개도 포함되었다. 피해자들은 체스 서버 Lichess, 게임 Rust, 암호화폐 거래소 Deribit부터 퐁피두 센터, 유럽우주국, 비야레알 축구 클럽에 이르기까지 다양했으며, 스트라스부르 외부에 데이터 사본이 없던 고객들은 재해 복구 권고가 공허하다는 것을 알게 되었다.

대응은 수개월간 이어졌다. OVH는 3~4주 내에 신규 서버 10,000대와 루베 및 그라블린 사업장의 대체 인프라를 약속했다. 라인강의 펌프 보트를 포함한 100명 이상의 소방관이 불을 끄는 데 6시간 이상 걸렸다. 랙 하나를 청소하는 데 7시간이 걸렸다. 4월에 CFO는 복구를 '진짜 악몽'이라 불렀고 Klaba는 '거대한 테트리스'라고 표현했다. OVH는 영향을 받은 서비스에 대한 청구를 중단하고 원인을 경찰과 보험사에 넘겼다. UPS7은 그날 아침 공급업체의 정비를 받았으며, 소방대가 도착했을 때 UPS7과 UPS8이 모두 불타고 있었다.

피해 규모는 SBG1의 운명을 결정지었다. 손상이 너무 심해 결코 복구되지 않을 것이었다. 그 랙들은 청소되어 살아남은 SBG3와 SBG4 홀이나 루베와 그라블린으로 옮겨졌다. 데이터센터 한 곳이 통째로 폐기된 것이다. 한 건물의 화재 한 건으로 OVHcloud는 홀 두 곳, 수개월간의 '진짜 악몽' 같은 복구, 그리고 캠퍼스의 안전성은 가장 이중화가 덜 된 건물의 안전성과 같다는 사실을 발견하는 비용을 치렀다.

화재로 SBG2가 파괴되고 SBG1의 폐기가 강제되었으며 웹사이트 360만 개가 오프라인되었다.

하나의 캠퍼스, 하나의 스위치: 데이터센터 네 곳이 한 사업장을 공유했고, 예방적 전력 차단으로 네 곳 모두 오프라인되었다. SBG3와 SBG4는 불탄 것이 없는데도 여전히 먹통이 되었다.

의심되는 발단은 일상적이었다. UPS7은 그날 아침 공급업체의 정비를 받았고, 소방대가 도착했을 때 UPS7과 UPS8이 모두 불타고 있었다. 단일 장애점에 대한 유지보수였던 것이다.

제품은 고객이 계획을 갖고 있다고 가정했다. OVH의 첫 지시는 재해 복구 계획을 활성화하라는 것이었다. 스트라스부르에만 데이터가 있는 고객에게는 그 마지막 방어선이 비어 있었다.

복구는 두 번째 청구서가 되었다. COVID 봉쇄 상황에서 랙을 손으로 하나씩 청소하는 데 7시간씩 걸렸고, 한 달이 지나도 CFO는 여전히 '진짜 악몽'이라고 불렀다.

모든 것이 한곳에 있었기 때문에 화재 한 건으로 캠퍼스 전체가 오프라인되었다. UPS는 바로 그날 아침 정비를 받았으며, 백업이 없는 고객에게 클라우드는 결국 건물에 불과했다.