Ein Routine-Upgrade bei Rogers legte Kanadas Netze 19 Stunden lang lahm – der Notruf 911 fiel mit aus

Am 8. Juli 2022 begann gegen 4:30 Uhr EDT das Netz von Rogers Communications in ganz Kanada auszufallen. Um 4:58 Uhr war das Kernnetz zusammengebrochen: Mehr als 12 Millionen Kunden verloren ihren Mobilfunk- und Festnetzdienst – Mobilfunk, Heim-Internet sowie Unternehmens- und Institutionsleitungen – und etwa ein Viertel der in Kanada beobachtbaren Internetkonnektivität verschwand. Die meisten Dienste waren innerhalb von 15 bis 19 Stunden wiederhergestellt, die vollständige Wiederherstellung dauerte jedoch bis 7:00 Uhr am 9. Juli, und einige Kunden blieben tagelang ohne Verbindung.

Die unabhängige Bewertung, die die CRTC in Auftrag gegeben hatte und die im Juli 2024 veröffentlicht wurde, führte den Ausfall auf eine Routineänderung zurück. Während der sechsten Phase eines siebenphasigen Upgrades seines IP-Kerns entfernten Rogers-Mitarbeiter den Access-Control-List-Filter aus der Konfiguration der Verteilrouter. Nach dem Entfernen des Filters gab ein Verteilrouter mehr als 900.000 Routenankündigungen in den Kern ab – gegenüber normalerweise etwa 10.000 – und der Kern brach innerhalb von Minuten zusammen. Ein Risikobewertungsalgorithmus stufte die Phase nach fünf fehlerfreien Phasen auf „geringes“ Risiko herab, was laut CRTC gegen Branchennormen verstößt.

Die Redundanz, die Rogers hätte retten sollen, war nicht unabhängig. Mobilfunk und Festnetz liefen über einen gemeinsamen IP-Kern, sodass beim Ausfall des Kerns beide gemeinsam ausfielen. Schlimmer noch: Das Managementnetz von Rogers lief über denselben Kern: Die Mitarbeiter im Netzbetriebszentrum verloren den Fernzugriff, hatten keine Ersatzkonnektivität von einem alternativen Anbieter und konnten die Fehlerprotokolle der ausgefallenen Router nicht lesen – es dauerte etwa 14 Stunden, die Ursache zu ermitteln.

Der Ausfall wirkte sich auf die gesamte Wirtschaft aus: Interac-Debit- und e-Transfer-Zahlungen fielen landesweit aus, Banken meldeten Probleme mit Geldautomaten und Online-Diensten, Tim Hortons akzeptierte nur noch Bargeld, und die Polizei in Toronto und Ottawa erklärte, einige Anrufer hätten den Notruf 911 nicht erreichen können. Rogers schätzte, etwa 150 Mio. C$ erstatten zu müssen – fünf Tage Gutschrift für seine rund 13 Millionen Kunden – und die Aktie fiel am ersten Handelstag danach um 4,61 %. Die CRTC eröffnete eine Untersuchung, und der Ausfall brachte neues regulatorisches Risiko in die ausstehende Shaw-Übernahme von Rogers.

Der Ausfall kostete Rogers 150 Mio. C$ an Kundengutschriften und einen Aktienrückgang von 4,61 %, während Interac und der Notruf 911 ausfielen.

Ein Algorithmus stufte Phase sechs des Kern-Upgrades nach fünf fehlerfreien Phasen auf „geringes“ Risiko herab – die CRTC nannte das einen Verstoß gegen Branchennormen, und auf dieser Grundlage wurde der Filter entfernt.

Kein Überlastschutz: Nach dem Entfernen des Access-Control-List-Filters flutete ein Verteilrouter mehr als 900.000 Routen in einen Kern, der für 10.000 ausgelegt war, und der Kern brach innerhalb von Minuten zusammen.

Mobilfunk und Festnetz teilten sich einen IP-Kern, und das Managementnetz lief über das Netz, das es verwaltete – so verloren Rogers' eigene Techniker etwa 14 Stunden lang die Werkzeuge, um den Ausfall zu beheben.

Das Netzbetriebszentrum hatte keine Ersatzkonnektivität von einem alternativen Anbieter – Redundanz, die nur auf dem Papier existiert, ist dasselbe wie keine.

Eine einzige Routineänderung legte ein nationales Netz lahm: kein Überlastschutz am Kern und ein Managementnetz, das über das Netz lief, das es verwaltete. Redundanz hilft nur, wenn die Sicherung unabhängig ist.

Die CRTC eröffnete am 12. Juli 2022 eine Untersuchung und beauftragte eine unabhängige Bewertung durch Xona Partners, die im Juli 2024 veröffentlicht wurde. Rogers verpflichtete sich zu 10 Mrd. C$ für Netzinvestitionen und zur Trennung seiner Mobilfunk- und Festnetzsysteme – allein die Netztrennung kostete 261 Mio. $. Der Ausfall brachte zudem regulatorisches Risiko in die ausstehende Shaw-Übernahme von Rogers, die im März 2023 mit 21 Bedingungen genehmigt wurde. Rogers teilte der CRTC mit, bis Mitte 2026 jede von Xona empfohlene Maßnahme vollständig umgesetzt zu haben.