OVHcloud: Ein Feuer nahm zwei Rechenzentren in Straßburg und 3,6 Millionen Websites vom Netz

Um 00:47 Uhr am 10. März 2021 brach in einem Raum der SBG2-Halle des Rechenzentrumscampus von OVHcloud in Straßburg, in einem Industriegebiet am Rhein, ein Feuer aus. Die Feuerwehr konnte den Brand nicht unter Kontrolle bringen: SBG2 war um 04:09 Uhr vollständig zerstört, ein Teil von SBG1 ging mit ihr verloren, und der Strom wurde auf dem gesamten Gelände abgeschaltet – so gingen auch SBG3 und SBG4, die von den Flammen nicht erreicht wurden, offline. Niemand wurde verletzt.

Der Ausfall war gewaltig, weil OVHcloud gewaltig ist: der größte Hosting-Anbieter Europas und der drittgrößte der Welt. Netcraft zählte 3,6 Millionen Websites über 464.000 verschiedene Domains, die offline gingen, darunter 184.000 französische Websites auf 59.600 .fr-Domains. Zu den Betroffenen gehörten der Schachserver Lichess, das Spiel Rust und die Krypto-Börse Deribit ebenso wie das Centre Pompidou, die Europäische Weltraumorganisation und der Fußballverein Villarreal – und Kunden, die keine Kopie ihrer Daten außerhalb Straßburgs hatten, erlebten, dass der Rat zur Notfallwiederherstellung leer blieb.

Die Bewältigung zog sich über Monate. OVH versprach 10.000 neue Server innerhalb von drei bis vier Wochen und Ersatzinfrastruktur an seinen Standorten Roubaix und Gravelines; mehr als 100 Feuerwehrleute, darunter ein Löschboot auf dem Rhein, brauchten über sechs Stunden, um das Feuer zu löschen. Die Reinigung eines einzigen Racks dauerte sieben Stunden. Im April nannte der CFO die Wiederherstellung „einen echten Albtraum“ und Klaba „ein riesiges Tetris“. OVH stellte die Abrechnung der betroffenen Dienste ein und übergab die Ursachenklärung der Polizei und den Versicherern: UPS7 war am selben Morgen von seinem Lieferanten gewartet worden, und UPS7 und UPS8 brannten beide, als die Feuerwehr eintraf.

Das Ausmaß der Schäden besiegelte das Schicksal von SBG1: Es war so schwer beschädigt, dass es nie wieder in Betrieb genommen würde. Seine Racks wurden gereinigt und in die erhaltenen Hallen SBG3 und SBG4 oder nach Roubaix und Gravelines gebracht – ein ganzes Rechenzentrum abgeschrieben. Ein Feuer in einem Gebäude hatte OVHcloud zwei Hallen gekostet, Monate einer „echten Albtraum“-Wiederherstellung und die Erkenntnis, dass ein Campus nur so sicher ist wie sein am wenigsten redundant ausgelegtes Gebäude.

Das Feuer zerstörte SBG2, erzwang die Aufgabe von SBG1 und nahm 3,6 Millionen Websites vom Netz.

Ein Campus, ein Schalter: Vier Rechenzentren teilten sich einen Standort, und eine vorsorgliche Stromabschaltung nahm alle vier vom Netz – SBG3 und SBG4 brannten nicht, gingen aber dennoch offline.

Der mutmaßliche Auslöser war Routine: UPS7 war am selben Morgen von seinem Lieferanten gewartet worden, und sowohl UPS7 als auch UPS8 standen in Flammen, als die Feuerwehr eintraf – Wartung an einem einzelnen Ausfallpunkt.

Das Produkt setzte voraus, dass der Kunde einen Plan hatte: OVHs erste Anweisung war, die Notfallwiederherstellungspläne zu aktivieren – für Kunden, deren Daten nur in Straßburg lagen, war diese letzte Verteidigungslinie leer.

Die Wiederherstellung wurde zur zweiten Rechnung: Racks, die von Hand gereinigt wurden, sieben Stunden pro Stück, unter einem COVID-Lockdown, während der CFO sie noch einen Monat später „einen echten Albtraum“ nannte.

Ein Feuer nahm einen ganzen Campus vom Netz, weil alles an einem Ort stand. Die USV war am selben Morgen gewartet worden – und für Kunden ohne Backup erwies sich die Cloud als ein Gebäude.