A falha de refrigeração da Vipshop custou ¥100 milhões e o emprego de um vice-presidente

Em 29 de março de 2023, a plataforma de comércio eletrónico da Vipshop sofreu uma interrupção catastrófica quando uma falha no sistema de refrigeração do seu IDC (Internet Data Centre) de Nansha fez as temperaturas das salas de servidores subirem rapidamente, desencadeando uma cascata de desligamentos de equipamentos. A interrupção durou mais de 12 horas, afetou mais de 8 milhões de clientes e causou à empresa perdas diretas superiores a ¥100 milhões. A Vipshop classificou o incidente como uma falha de nível P0 (o mais grave).

A resposta da empresa foi rápida e pública: o responsável pelo departamento da plataforma de infraestrutura foi despedido, e os gestores diretos das equipas afetadas foram responsabilizados. O incidente também afetou a Tencent, que alojava serviços no mesmo data centre e classificou internamente o evento como um «acidente de Nível 1», resultando em críticas, despromoções e despedimentos de vários executivos. A falha expôs os riscos da arquitetura de data centre único e de um planeamento de recuperação de desastres inadequado.

A Vipshop operava num único data centre sem failover, pelo que uma avaria de refrigeração custou mais de ¥100 milhões e o emprego do vice-presidente.

A Vipshop operava toda a sua plataforma num único data centre sem failover em tempo real — uma falha de refrigeração numa sala derrubou a empresa inteira

A interrupção durou 12 horas, o que sugere que mesmo os procedimentos básicos de recuperação de desastres não estavam em vigor ou não puderam ser ativados com a rapidez suficiente

Um único data centre é um ponto único de falha, e uma avaria de refrigeração não é um acontecimento anómalo — é um risco previsível que toda a plataforma deve conseguir suportar