Rackspaces Rechenzentrum in Dallas zweimal innerhalb von 8 Tagen ohne Strom – Tausende Websites gingen offline

Am 29. Juni 2009 legten Stromausfälle im Rackspace-Rechenzentrum in Grapevine bei Dallas – seinem primären Hosting-Standort – die Kundenserver für einen Teil des Tages lahm. Kundenseiten gingen massenhaft offline, darunter Seiten von Justin Timberlake und Michelle Malkin sowie die Event-Website Eventbrite. Der Ausfall traf auch Rackspaces eigene Systeme: Das Unternehmen konnte zunächst weder E-Mails beantworten noch Updates veröffentlichen, sodass Kunden sich auf Twitter drängten, um herauszufinden, ob sie die Einzigen waren, die betroffen waren.

Rackspace meldete die finanziellen Auswirkungen an die SEC: einmalige Servicegutschriften, vorläufig auf 2,5–3,5 Millionen US-Dollar geschätzt. In seiner Entschuldigung im Blog führte das Unternehmen den Ausfall auf „eine Reihe von Problemen mit der Strominfrastruktur“ zurück; TechCrunch fasste den Ablauf als einen Stromausfall zusammen, der schließlich auch das Backup-System selbst außer Gefecht setzte. Das Unternehmen versprach den Kunden einen Aktionsplan: „Wir schulden Ihnen einen Aktionsplan, um diese Art von Vorfällen in Zukunft zu verhindern.“

Acht Tage später, am 7. Juli, fiel in derselben Einrichtung erneut der Strom aus – diesmal aufgrund einer fehlerhaften elektrischen Verbindung, die die Netzwerkkonnektivität zu einigen Servern kurzzeitig unterbrach. Erst nach diesem zweiten Ausfall schloss Rackspace die Produktionslasttests seiner Generatoren ab, die nach eigenen Angaben die Probleme beseitigten und das Rechenzentrum wieder in den normalen Betriebszustand zurückversetzten.

2,5–3,5 Millionen US-Dollar an einmaligen Servicegutschriften, an die SEC gemeldet, für einen Stromausfall, der Kundenserver für einen Teil eines Tages lahmlegte.

Die Backup-Stromkette der Anlage in Grapevine fiel zusammen mit der primären Versorgung aus, sodass die auf dem Papier vorhandene Redundanz genau dann versagte, als sie gebraucht wurde.

Generatoren und USV-Einheiten wurden nach dem ersten Ausfall gewartet, aber erst nach dem zweiten Produktionslasttests unterzogen – die Behebung hinkte dem Ausfall um acht Tage hinterher.

Auch Rackspaces eigene Support- und Statuskanäle waren im selben Ausmaß betroffen: Da die internen Systeme beeinträchtigt waren, konnte das Unternehmen in der ersten Stunde nicht auf Kunden reagieren.

Eine Notstromversorgung, die noch nie Produktionslast getragen hat, ist eine Hypothese, keine Redundanz. Rackspace führte Produktionslasttests seiner Generatoren erst nach dem zweiten Ausfall innerhalb von acht Tagen durch.

Rackspace meldete die Schätzung von 2,5–3,5 Millionen US-Dollar an Gutschriften in einer SEC-Einreichung, entschuldigte sich im eigenen Blog und versprach einen Aktionsplan. Die Wiederholung am 7. Juli erzwang eine schnellere Kommunikation – das Unternehmen bloggte und twitterte durchgehend – und am 8. Juli gab es bekannt, die Produktionslasttests der Generatoren abgeschlossen und die Anlage in Grapevine wieder in den normalen Betriebszustand versetzt zu haben. Die Anlage hatte bereits im November 2007 einen größeren Ausfall erlitten. „Ihr Mangel an Redundanz für Ihre eigenen internen Abläufe ist höchst besorgniserregend“, schrieb ein Kunde im Blog des Unternehmens.