OVHcloud：1件の火災でストラスブールのデータセンター2棟と360万のウェブサイトがオフラインに

2021年3月10日00時47分、ライン川沿いの工業地帯にあるOVHcloudのストラスブール・データセンター群のうち、SBG2ホールの一室で火災が発生した。消防隊は炎を制御できなかった。SBG2は04時09分までに完全に破壊され、SBG1の一部も巻き込まれ、敷地全体で電力が遮断された。そのため、炎の影響を受けなかったSBG3とSBG4も停止した。負傷者はなかった。

被害が甚大だったのは、OVHcloudが巨大だからだ。欧州最大、世界第3位のホスティング事業者である。Netcraftの集計では、464,000の異なるドメインにまたがる360万のウェブサイトがオフラインとなり、その中には59,600の.frドメイン上の184,000のフランスのサイトが含まれていた。被害者はチェスサーバーのLichess、ゲームのRust、暗号資産取引所のDeribitから、ポンピドゥー・センター、欧州宇宙機関、サッカークラブのビジャレアルにまで及び、ストラスブール以外にデータの複製を持たない顧客は、災害復旧の助言が空しいものだと知ることになった。

対応は数か月に及んだ。OVHは3〜4週間以内に10,000台の新サーバーと、ルーベ、グラヴリーヌの拠点における代替インフラを約束した。ライン川のポンプ船を含む100人以上の消防士が消火に6時間以上を要した。1つのラックの清掃には7時間かかった。4月、CFOは復旧を「本当に悪夢だ」、Klabaは「巨大なテトリス」と評した。OVHは影響を受けたサービスの請求を停止し、原因を警察と保険会社に委ねた。UPS7は当日朝にサプライヤーによる保守を受けていたのであり、消防隊の到着時にはUPS7とUPS8の両方が燃えていた。

被害の規模がSBG1の運命を決めた。損傷がひどく、復活させることはないとされた。そのラックは清掃され、生き残ったSBG3とSBG4のホール、あるいはルーベとグラヴリーヌへ移された。データセンター1棟がまるごと償却されたのである。1棟の建物での1件の火災が、OVHcloudに2つのホール、数か月にわたる「本当に悪夢」の復旧、そしてキャンパスは最も冗長性の低い建物と同じだけしか安全でないという発見をもたらした。

火災はSBG2を破壊し、SBG1の放棄を余儀なくさせ、360万のウェブサイトをオフラインにした。

1つのキャンパス、1つのスイッチ：4つのデータセンターが1つの敷地を共有し、予防的な停電がすべてをオフラインにした。SBG3とSBG4は何も燃えていないのに、それでも停止した。

疑わしい引き金は日常的なものだった。UPS7は当日朝にサプライヤーによる保守を受けており、消防隊の到着時にはUPS7とUPS8の両方が燃えていた。単一障害点の保守である。

製品は顧客が計画を持っていることを前提としていた。OVHの最初の指示は災害復旧計画を有効化することだったが、ストラスブールにしかデータを持たない顧客にとって、その最後の防衛線は空だった。

復旧は第二の請求となった。ラックは1つ7時間かけて手作業で清掃され、COVIDのロックダウン下で、1か月経ってもCFOはそれを「本当に悪夢だ」と呼んでいた。

すべてが1か所にあったため、1件の火災でキャンパス全体がオフラインになった。UPSはその同じ朝に保守を受けていた。そしてバックアップを持たない顧客にとって、クラウドは結局のところ1棟の建物だったのである。