O data center da Rackspace em Dallas perdeu energia duas vezes em 8 dias — milhares de sites ficaram fora do ar

Em 29 de junho de 2009, falhas de energia no data center da Rackspace em Grapevine, perto de Dallas — sua principal localização de hospedagem — derrubaram os servidores dos clientes por parte do dia. Sites de clientes ficaram fora do ar em massa, incluindo páginas administradas por Justin Timberlake e Michelle Malkin, e o site do evento Eventbrite. A queda também atingiu os próprios sistemas da Rackspace: a empresa não conseguiu responder e-mails nem publicar atualizações no início, então os clientes recorreram ao Twitter para descobrir se eram os únicos afetados.

A Rackspace divulgou o impacto financeiro à SEC: créditos de serviço únicos estimados preliminarmente em US$ 2,5 a 3,5 milhões. Seu pedido de desculpas no blog atribuiu a queda a "uma série de problemas de infraestrutura de energia"; o TechCrunch resumiu a sequência como uma falha de energia que acabou derrubando o próprio sistema de backup. A empresa prometeu aos clientes um plano de ação: "Devemos a vocês um plano de ação para evitar esse tipo de coisa no futuro."

Oito dias depois, em 7 de julho, a mesma instalação perdeu energia novamente — desta vez por causa de uma conexão elétrica com falha que interrompeu brevemente a conectividade de rede de alguns servidores. Só depois dessa segunda falha a Rackspace concluiu testes de carga em produção em seus geradores, o que, segundo ela, eliminou os problemas e devolveu o data center às condições normais de operação.

US$ 2,5 a 3,5 milhões em créditos de serviço únicos, divulgados à SEC, por uma falha de energia que derrubou servidores de clientes por parte de um dia.

A cadeia de energia de backup da instalação de Grapevine caiu junto com a alimentação principal, então a redundância que existia no papel falhou exatamente quando foi necessária.

Geradores e unidades de UPS passaram por manutenção após a primeira queda, mas não foram submetidos a testes de carga em produção até depois da segunda — a correção ficou oito dias atrás da falha.

Os próprios canais de suporte e de status da Rackspace compartilharam o raio de impacto: com os sistemas internos prejudicados, a empresa não conseguiu responder aos clientes durante a primeira hora.

Energia de backup que nunca suportou carga em produção é uma hipótese, não redundância. A Rackspace realizou testes de carga em produção em seus geradores somente após a segunda queda em oito dias.

A Rackspace divulgou a estimativa de créditos de US$ 2,5 a 3,5 milhões em um documento enviado à SEC, pediu desculpas em seu blog e prometeu um plano de ação. A repetição em 7 de julho forçou uma comunicação mais rápida — a empresa publicou no blog e no Twitter durante todo o episódio — e, em 8 de julho, anunciou que havia concluído os testes de carga em produção nos geradores e devolvido a instalação de Grapevine às condições normais de operação. A instalação já havia sofrido uma grande queda em novembro de 2007. "A falta de redundância de vocês para suas próprias operações internas é altamente preocupante", escreveu um cliente no blog da empresa.