Uma atualização de rotina na Rogers derrubou as redes do Canadá por 19 horas — e o 911 foi junto

Em 8 de julho de 2022, por volta das 4h30 EDT (horário de verão do leste), a rede da Rogers Communications começou a falhar em todo o Canadá. Às 4h58, a rede central havia colapsado: mais de 12 milhões de clientes perderam o serviço sem fio e fixo — celular, internet residencial, linhas corporativas e institucionais — e cerca de um quarto da conectividade de internet observável do Canadá desapareceu. A maioria dos serviços foi restaurada em 15 a 19 horas, mas a restauração completa só ocorreu às 7h do dia 9 de julho, e alguns clientes permaneceram sem conexão por dias.

A avaliação independente encomendada pela CRTC, divulgada em julho de 2024, atribuiu a falha a uma mudança de rotina. Durante a sexta fase de uma atualização de sete fases do seu núcleo IP, a equipe da Rogers removeu o filtro Access Control List da configuração dos roteadores de distribuição. Sem o filtro, um roteador de distribuição liberou mais de 900.000 anúncios de rota no núcleo — contra cerca de 10.000 normalmente — e o núcleo colapsou em minutos. Um algoritmo de avaliação de risco rebaixou a fase para risco 'Baixo' após cinco fases sem problemas, o que a CRTC considerou uma violação das normas do setor.

A redundância que deveria ter salvado a Rogers não era independente. O sem fio e o fixo rodavam sobre um mesmo núcleo IP comum, então, quando o núcleo falhou, ambos caíram juntos. Pior ainda, a rede de gerenciamento da Rogers rodava sobre esse mesmo núcleo: a equipe do centro de operações de rede perdeu o acesso remoto, não tinha conectividade de backup de um provedor alternativo e não conseguia ler os registros de erro dos roteadores com falha — levou cerca de 14 horas para identificar a causa.

A interrupção se propagou pela economia: o débito Interac e o e-Transfer falharam em todo o país, bancos relataram problemas em caixas eletrônicos e serviços online, a Tim Hortons passou a aceitar apenas dinheiro e a polícia de Toronto e Ottawa disse que alguns chamadores não conseguiam completar ligações para o 911. A Rogers estimou que reembolsaria cerca de C$ 150 milhões — cinco dias de crédito para seus aproximadamente 13 milhões de clientes — e as ações caíram 4,61% no primeiro dia de negociação após o incidente. A CRTC abriu uma investigação, e a interrupção acrescentou novo risco regulatório à pendente aquisição da Shaw pela Rogers.

A interrupção custou à Rogers C$ 150 milhões em créditos aos clientes e uma queda de 4,61% nas ações, enquanto o Interac e o 911 ficaram fora do ar.

Um algoritmo rebaixou a sexta fase da atualização do núcleo para risco 'Baixo' após cinco fases sem problemas — a CRTC classificou isso como violação das normas do setor, e o filtro foi removido com base nisso.

Sem proteção contra sobrecarga: com o filtro Access Control List removido, um roteador de distribuição inundou com mais de 900.000 rotas um núcleo projetado para 10.000, e o núcleo colapsou em minutos.

O sem fio e o fixo compartilhavam um único núcleo IP, e a rede de gerenciamento rodava sobre a rede que geria — então os próprios engenheiros da Rogers perderam as ferramentas para corrigir a interrupção por cerca de 14 horas.

O centro de operações de rede não tinha conectividade de backup de um provedor alternativo — redundância que existe apenas no papel é o mesmo que nenhuma.

Uma única mudança de rotina derrubou uma rede nacional: sem proteção contra sobrecarga no núcleo, e uma rede de gerenciamento que rodava sobre a rede que geria. A redundância só ajuda quando o backup é independente.

A CRTC abriu uma investigação em 12 de julho de 2022 e encomendou uma avaliação independente à Xona Partners, publicada em julho de 2024. A Rogers comprometeu C$ 10 bilhões em investimento na rede e na separação de seus sistemas sem fio e fixo — só a separação da rede custou $ 261 milhões. A interrupção também acrescentou risco regulatório à pendente aquisição da Shaw pela Rogers, aprovada em março de 2023 com 21 condições. A Rogers informou à CRTC que havia implementado integralmente todas as medidas recomendadas pela Xona até meados de 2026.