OVHcloud: um incêndio tirou do ar dois data centers de Estrasburgo e 3,6 milhões de sites

Às 00h47 de 10 de março de 2021, um incêndio começou em uma sala do salão SBG2 do campus de data centers da OVHcloud em Estrasburgo, numa área industrial às margens do rio Reno. Os bombeiros não conseguiram controlar as chamas: o SBG2 foi completamente destruído às 04h09, parte do SBG1 foi junto, e a energia foi cortada em todo o local — de modo que o SBG3 e o SBG4, intocados pelo fogo, também ficaram offline. Ninguém se feriu.

A interrupção foi enorme porque a OVHcloud é enorme: o maior provedor de hospedagem da Europa e o terceiro maior do mundo. A Netcraft contabilizou 3,6 milhões de sites em 464 mil domínios distintos tirados do ar, entre eles 184 mil sites franceses em 59.600 domínios .fr. As vítimas iam do servidor de xadrez Lichess, do jogo Rust e da corretora de criptomoedas Deribit ao Centre Pompidou, à Agência Espacial Europeia e ao clube de futebol Villarreal — e os clientes sem nenhuma cópia de seus dados fora de Estrasburgo descobriram que o conselho de recuperação de desastres era vazio.

A resposta durou meses. A OVH prometeu 10 mil novos servidores em três a quatro semanas e infraestrutura de substituição em seus sites de Roubaix e Gravelines; mais de 100 bombeiros, incluindo um barco-bomba no Reno, levaram mais de seis horas para apagar o fogo. Limpar um rack levava sete horas. Em abril, o diretor financeiro chamou a restauração de "um verdadeiro pesadelo" e Klaba, de "um Tetris gigante". A OVH parou de cobrar pelos serviços afetados e entregou a causa à polícia e às seguradoras: o UPS7 havia passado por manutenção do fornecedor naquela manhã, e o UPS7 e o UPS8 estavam ambos em chamas quando os bombeiros chegaram.

A escala dos danos selou o destino do SBG1: ele ficou tão danificado que nunca seria reativado. Seus racks foram limpos e transferidos para os salões sobreviventes SBG3 e SBG4 ou para Roubaix e Gravelines — um data center inteiro dado como perdido. Um incêndio em um único prédio custou à OVHcloud dois salões, meses de recuperação em "verdadeiro pesadelo" e a descoberta de que um campus só é tão seguro quanto seu prédio menos redundante.

O incêndio destruiu o SBG2, forçou o abandono do SBG1 e tirou 3,6 milhões de sites do ar.

Um campus, um interruptor: quatro data centers compartilhavam um único local, e um corte de energia preventivo tirou todos eles do ar — o SBG3 e o SBG4 não queimaram nada e ainda assim ficaram offline.

O gatilho suspeito era rotineiro: o UPS7 havia passado por manutenção do fornecedor naquela manhã, e tanto o UPS7 quanto o UPS8 estavam em chamas quando os bombeiros chegaram — manutenção em um ponto único de falha.

O produto pressupunha que o cliente tivesse um plano: a primeira instrução da OVH foi ativar os planos de recuperação de desastres — para clientes com dados apenas em Estrasburgo, essa última linha de defesa estava vazia.

A recuperação virou a segunda conta: racks limpos à mão, sete horas cada, sob um lockdown de COVID, com o diretor financeiro ainda chamando aquilo de "um verdadeiro pesadelo" um mês depois.

Um incêndio tirou um campus inteiro do ar porque tudo estava no mesmo lugar. O UPS havia passado por manutenção naquela mesma manhã — e, para clientes sem backup, a nuvem revelou-se um prédio.