Une mise à niveau de routine chez Rogers a fait tomber les réseaux du Canada pendant 19 heures — le 911 en a fait les frais

Le 8 juillet 2022, vers 4 h 30 (HAE), le réseau de Rogers Communications a commencé à défaillir partout au Canada. À 4 h 58, le réseau central s'était effondré : plus de 12 millions de clients ont perdu le service sans fil et filaire — mobile, internet résidentiel, lignes d'entreprise et institutionnelles — et environ un quart de la connectivité internet observable au Canada a disparu. La plupart des services ont été rétablis en 15 à 19 heures, mais le rétablissement complet n'a eu lieu qu'à 7 h le 9 juillet, et certains clients sont restés sans connexion pendant des jours.

L'évaluation indépendante commandée par le CRTC, publiée en juillet 2024, a attribué la défaillance à un changement de routine. Lors de la sixième phase d'une mise à niveau en sept phases de son cœur IP, le personnel de Rogers a retiré le filtre de liste de contrôle d'accès (ACL) de la configuration des routeurs de distribution. Le filtre supprimé, un routeur de distribution a diffusé plus de 900 000 annonces de routes dans le cœur — contre environ 10 000 normalement — et le cœur s'est effondré en quelques minutes. Un algorithme d'évaluation des risques a rétrogradé la phase à un risque « faible » après cinq phases sans incident, ce que le CRTC a jugé contraire aux normes de l'industrie.

La redondance qui aurait dû sauver Rogers n'était pas indépendante. Le sans-fil et le filaire fonctionnaient sur un même cœur IP commun ; lorsque le cœur a échoué, les deux sont tombés ensemble. Pire encore, le réseau de gestion de Rogers reposait sur ce même cœur : le personnel du centre d'exploitation du réseau a perdu l'accès à distance, ne disposait d'aucune connectivité de secours auprès d'un fournisseur alternatif et ne pouvait pas lire les journaux d'erreurs des routeurs défaillants — il a fallu environ 14 heures pour en identifier la cause.

La panne s'est propagée à l'économie : le débit Interac et le virement électronique ont échoué partout au pays, les banques ont signalé des problèmes de guichet automatique et de services en ligne, Tim Hortons est passé au paiement comptant uniquement, et les polices de Toronto et d'Ottawa ont indiqué que certains appelants n'ont pas pu joindre le 911. Rogers a estimé qu'elle rembourserait environ 150 millions de dollars canadiens — cinq jours de crédit pour ses quelque 13 millions de clients — et l'action a chuté de 4,61 % le premier jour de bourse suivant. Le CRTC a ouvert un examen, et la panne a ajouté un nouveau risque réglementaire à l'acquisition en cours de Shaw par Rogers.

La panne a coûté à Rogers 150 M$ CA en crédits aux clients et une chute de l'action de 4,61 %, tandis qu'Interac et le 911 tombaient en panne.

Un algorithme a rétrogradé la sixième phase de la mise à niveau du cœur à un risque « faible » après cinq phases sans incident — le CRTC a qualifié cela de contravention aux normes de l'industrie, et le filtre a été retiré sur cette base.

Aucune protection contre la surcharge : le filtre de liste de contrôle d'accès supprimé, un routeur de distribution a inondé de plus de 900 000 routes un cœur conçu pour 10 000, et le cœur s'est effondré en quelques minutes.

Le sans-fil et le filaire partageaient un même cœur IP, et le réseau de gestion reposait sur le réseau qu'il gérait — si bien que les propres ingénieurs de Rogers ont perdu les outils nécessaires pour réparer la panne pendant environ 14 heures.

Le centre d'exploitation du réseau ne disposait d'aucune connectivité de secours auprès d'un fournisseur alternatif — une redondance qui n'existe que sur le papier équivaut à aucune redondance.

Un seul changement de routine a fait tomber un réseau national : aucune protection contre la surcharge sur le cœur, et un réseau de gestion qui reposait sur le réseau qu'il gérait. La redondance n'est utile que lorsque le secours est indépendant.

Le CRTC a ouvert un examen le 12 juillet 2022 et a commandé une évaluation indépendante à Xona Partners, publiée en juillet 2024. Rogers s'est engagée à investir 10 milliards de dollars canadiens dans le réseau et à séparer ses systèmes sans fil et filaires — la séparation des réseaux à elle seule a coûté 261 millions de dollars. La panne a également ajouté un risque réglementaire à l'acquisition en cours de Shaw par Rogers, approuvée en mars 2023 sous 21 conditions. Rogers a déclaré au CRTC avoir pleinement mis en œuvre chaque mesure recommandée par Xona d'ici la mi-2026.