Le centre de données de Rackspace à Dallas a perdu l'alimentation deux fois en 8 jours - des milliers de sites sont tombés

Le 29 juin 2009, des pannes de courant au centre de données de Rackspace à Grapevine, près de Dallas - son principal site d'hébergement - ont fait tomber les serveurs de clients pendant une partie de la journée. Les sites des clients sont tombés en masse, y compris des pages gérées par Justin Timberlake et Michelle Malkin, ainsi que le site de l'événement Eventbrite. La panne a également touché les propres systèmes de Rackspace : l'entreprise n'a d'abord pas pu répondre aux courriels ni publier de mises à jour, si bien que les clients se sont tournés vers Twitter pour déterminer s'ils étaient les seuls concernés.

Rackspace a divulgué l'impact financier à la SEC : des crédits de service ponctuels estimés provisoirement entre 2,5 et 3,5 millions de dollars. Dans ses excuses publiées sur son blog, l'entreprise a attribué la panne à « une série de problèmes d'infrastructure électrique » ; TechCrunch a résumé la séquence comme une panne de courant qui a fini par faire défaillir le système de secours lui-même. L'entreprise a promis à ses clients un plan d'action : « Nous vous devons un plan d'action pour éviter ce genre de chose à l'avenir. »

Huit jours plus tard, le 7 juillet, le même site a de nouveau perdu l'alimentation - cette fois à cause d'une connexion électrique défaillante qui a brièvement coupé la connectivité réseau de certains serveurs. Ce n'est qu'après cette deuxième panne que Rackspace a réalisé des tests de charge en production sur ses générateurs, ce qui, selon l'entreprise, a éliminé les problèmes et ramené le centre de données à des conditions d'exploitation normales.

Entre 2,5 et 3,5 millions de dollars en crédits de service ponctuels, divulgués à la SEC, pour une panne de courant qui a fait tomber les serveurs de clients pendant une partie de la journée.

La chaîne d'alimentation de secours de l'installation de Grapevine a disjoncté en même temps que l'alimentation principale, si bien que la redondance qui existait sur le papier a échoué exactement au moment où elle était nécessaire.

Les générateurs et les onduleurs ont été entretenus après la première panne, mais n'ont pas fait l'objet de tests de charge en production avant la seconde - la correction a suivi la panne de huit jours.

Les propres canaux de support et d'état de Rackspace ont subi les mêmes dommages : les systèmes internes étant dégradés, l'entreprise n'a pas pu répondre aux clients pendant la première heure.

Une alimentation de secours qui n'a jamais porté de charge en production est une hypothèse, pas une redondance. Rackspace n'a réalisé des tests de charge en production sur ses générateurs qu'après la deuxième panne en huit jours.

Rackspace a divulgué l'estimation de 2,5 à 3,5 millions de dollars en crédits dans un dépôt auprès de la SEC, s'est excusé sur son blog et a promis un plan d'action. La répétition du 7 juillet a imposé une communication plus rapide - l'entreprise a publié des billets de blog et des tweets tout au long de la journée - et le 8 juillet, elle a annoncé avoir terminé les tests de charge en production sur les générateurs et ramené l'installation de Grapevine à des conditions d'exploitation normales. Le site avait déjà subi une panne majeure en novembre 2007. « Votre manque de redondance pour vos propres opérations internes est très préoccupant », a écrit un client sur le blog de l'entreprise.