Optus war 14 Stunden lang dunkel und schnitt 10 Millionen Australier von allem ab

Am 8. November 2023 erlitt Australiens zweitgrößtes Telekommunikationsunternehmen einen totalen Netzausfall, der 12 bis 14 Stunden andauerte und mehr als 10 Millionen Privatpersonen und 400.000 Unternehmen betraf. Der Ausfall legte im ganzen Land Mobiltelefone, Heim-Internet, Festnetzanschlüsse, EFTPOS-Terminals, Krankenhaus-Telefonzentralen und den Notrufdienst Triple Zero lahm.

Die Ursache war ein Border-Gateway-Protocol-(BGP-)Routing-Fehler, der durch ein Software-Upgrade an einer Singtel-Vermittlungsstelle in Nordamerika ausgelöst wurde. Als ein Router sich als Schutzmaßnahme gegen eine Überlastung durch Routing-Updates trennte, folgten etwa 90 Edge-Provider-Router, was eine kaskadierende Abschaltung auslöste, die die automatisierten Schutzmechanismen des Netzes nicht stoppen konnten. Der Ausfall dauerte von 4:05 Uhr AEDT bis zum späten Nachmittag, wobei einige Dienste erst am nächsten Tag wiederhergestellt wurden.

Der finanzielle Schaden war erheblich. Singtel, die singapurische Muttergesellschaft, verlor über 2 Milliarden AU$ an Marktwert, da ihr Aktienkurs an der Singapore Exchange um 4,8 % fiel. Optus-CEO Kelly Bayer Rosmarin sah sich heftiger Kritik wegen der langsamen und vagen Kommunikation des Unternehmens während der Krise ausgesetzt. Sie trat eine Woche später zurück, und das Unternehmen bot betroffenen Kunden als Entschädigung 200 GB zusätzliches Datenvolumen an.

Die australische Regierung beauftragte eine unabhängige Überprüfung unter der Leitung von Dr. Richard Bean, die 18 Empfehlungen veröffentlichte. Auch der Senat hielt eine öffentliche Anhörung ab. Die Überprüfung forderte neue Regeln für die Kundenkommunikation, ein Testregime für Triple Zero und die Schaffung eines eigenen Triple-Zero-Verwalters, um eine Wiederholung zu verhindern.

Die Trennung eines Routers löste 90 weitere aus, und ohne manuelle Übersteuerung legte die Kaskade alles lahm – was 2 Mrd. AU$ an Marktwert und den Job des CEO kostete.

Ein einziges Software-Upgrade eskalierte zu einem landesweiten Ausfall, weil die automatisierten Schutzmaßnahmen des Netzes einander nacheinander auslösten, ohne dass ein Mensch eingreifen konnte.

Optus hatte keine schnelle Backup- oder Failover-Lösung, die den BGP-Kollaps hätte umgehen können, sodass 10 Millionen Kunden einen halben Tag lang ohne Dienst dastanden.

Die Krisenkommunikation des Unternehmens war vage und langsam, was das öffentliche Vertrauen weiter untergrub, während das Netz noch immer ausgefallen war.

Eine einzige Netzänderung kann die Kommunikation eines ganzen Landes lahmlegen – testen Sie Routing-Updates isoliert und halten Sie eine manuelle Übersteuerung bereit, die im großen Maßstab funktioniert.