Em 4 de outubro de 2021, às 15h39 UTC, o Facebook e tudo o que nele funcionava — Instagram, WhatsApp, Messenger, Oculus — saiu do ar no mundo inteiro. Pelas seis a sete horas seguintes, bilhões de pessoas simplesmente não conseguiram acessá-los. A causa não foi um ciberataque. Durante uma manutenção de rotina, um engenheiro executou um comando destinado a avaliar a capacidade da rede backbone global do Facebook. O comando deu errado e desconectou acidentalmente todos os data centers do Facebook dessa backbone de uma só vez.
O projeto transformou um comando ruim em uma catástrofe. O Facebook operava seus próprios servidores DNS, e esses servidores estavam configurados para retirar suas rotas BGP — as entradas do "catálogo de endereços" da internet — caso perdessem contato com os data centers. Assim, quando a backbone caiu, os servidores DNS obedientemente informaram ao resto da internet que os endereços do Facebook não existiam mais. O Facebook havia, na prática, se apagado da internet, e a retirada se propagou de forma tão completa que até as próprias ferramentas do Facebook tinham dificuldade para alcançá-lo e corrigir o problema.
O bloqueio foi quase comicamente total. Os sistemas internos do Facebook também caíram: os funcionários não conseguiam enviar e-mails externos, acessar o diretório corporativo nem — em um detalhe que virou manchete — abrir os prédios do escritório e as salas de conferência com seus crachás de segurança, que dependiam da mesma rede. A recuperação exigiu que uma equipe entrasse fisicamente no data center de Santa Clara e reiniciasse os servidores manualmente. Os serviços voltaram gradualmente entre cerca de 21h50 e 22h50 UTC. As ações do Facebook caíram quase 5% naquele dia, e a fortuna pessoal de Mark Zuckerberg diminuiu mais de US$ 6 bilhões.
Os servidores DNS retiraram as rotas automaticamente ao perder contato, então a falha se propagou em cascata; a recuperação exigiu acesso físico, custando 6 horas e mais de US$ 60 milhões.
Um único comando de manutenção, executado sem salvaguardas adequadas, desconectou todos os data centers do Facebook de sua backbone de uma só vez.
Os servidores DNS foram projetados para retirar suas rotas BGP quando perdessem os data centers — assim, a falha apagou automaticamente o Facebook das tabelas de roteamento da internet.
As ferramentas de recuperação e o acesso (inclusive os crachás físicos dos prédios) dependiam da mesma rede que havia falhado, deixando os engenheiros sem acesso para corrigir o problema.
Não havia um caminho fora de banda para alcançar os sistemas e reverter a mudança rapidamente.
A lição
Construa seu caminho de recuperação de modo que ele não dependa daquilo que acabou de quebrar. Quando seu DNS, sua autenticação e seus crachás de porta rodam todos na rede que você acabou de derrubar, você se trancou para fora.
A equipe de engenharia do Facebook publicou uma explicação detalhada no dia seguinte, e a empresa pediu desculpas. A queda — a pior desde 2008 — custou uma receita publicitária estimada em US$ 60 milhões ou mais e derrubou bilhões de seu valor de mercado, além de ter levado brevemente usuários a plataformas rivais. Tornou-se um caso clássico na engenharia de redes sobre os perigos dos pontos únicos de falha, dos sistemas de recuperação que dependem dos sistemas que deveriam recuperar e de como um único comando sem proteção pode derrubar um serviço usado por um terço da humanidade.
CONFIRA AS EVIDÊNCIAS