Em 8 de novembro de 2023, a segunda maior empresa de telecomunicações da Austrália sofreu uma falha total de rede que durou de 12 a 14 horas, afetando mais de 10 milhões de pessoas e 400.000 empresas. A interrupção derrubou celulares, internet residencial, telefones fixos, terminais EFTPOS, centrais telefônicas de hospitais e o serviço de emergência Triple Zero em todo o país.
A causa foi uma falha de roteamento do Border Gateway Protocol (BGP) desencadeada por uma atualização de software em uma central da Singtel na América do Norte. Quando um roteador se desconectou como medida de proteção contra a sobrecarga de atualizações de roteamento, aproximadamente 90 roteadores de provedores de borda o seguiram, desencadeando um desligamento em cascata que as salvaguardas automatizadas da rede não conseguiram deter. A interrupção durou das 4h05 (horário de verão da Austrália Oriental) até o fim da tarde, com alguns serviços só se recuperando no dia seguinte.
O dano financeiro foi grave. A Singtel, empresa-mãe sediada em Singapura, perdeu mais de AU$ 2 bilhões em valor de mercado, com a queda de 4,8% no preço de suas ações na Bolsa de Singapura. A CEO da Optus, Kelly Bayer Rosmarin, enfrentou críticas intensas pela comunicação lenta e vaga da empresa durante a crise. Ela renunciou uma semana depois, e a empresa ofereceu aos clientes afetados 200 GB de dados bônus como compensação.
O governo australiano encomendou uma revisão independente liderada pelo Dr. Richard Bean, que publicou 18 recomendações. O Senado também realizou uma investigação pública. A revisão pediu novas regras de comunicação com os clientes, um regime de testes do Triple Zero e a criação de um responsável dedicado ao Triple Zero para evitar uma recorrência.
A desconexão de um roteador desencadeou outros 90 e, sem possibilidade de intervenção manual, a cascata derrubou tudo, custando AU$ 2 bilhões em valor de mercado e o cargo do CEO.
Uma única atualização de software se transformou em uma interrupção nacional porque as medidas de proteção automatizadas da rede foram acionadas umas pelas outras em sequência, sem possibilidade de intervenção humana.
A Optus não tinha backup rápido nem failover capaz de contornar o colapso do BGP, deixando 10 milhões de clientes sem serviço por meio dia.
A comunicação de crise da empresa foi vaga e lenta, o que erodiu ainda mais a confiança do público enquanto a rede continuava fora do ar.
A lição
Uma única mudança na rede pode desativar as comunicações de um país inteiro — teste as atualizações de roteamento de forma isolada e mantenha uma intervenção manual que funcione em escala.
CONFIRA AS EVIDÊNCIAS
As fontes
- 2023 Optus outage — Wikipedia en.wikipedia.org
- A major shakeup: the Optus outage investigation — The Conversation theconversation.com
- BBC News — Millions hit by Australian phone network failure (8 November 2023) bbc.com