Le 8 novembre 2023, la deuxième plus grande entreprise de télécommunications d'Australie a subi une panne totale de son réseau qui a duré 12 à 14 heures, touchant plus de 10 millions de particuliers et 400 000 entreprises. La panne a mis hors service les téléphones mobiles, l'internet domestique, les lignes fixes, les terminaux EFTPOS, les standards téléphoniques des hôpitaux et le service d'appel d'urgence Triple Zéro dans tout le pays.
La cause était une défaillance de routage du protocole Border Gateway Protocol (BGP) déclenchée par une mise à jour logicielle sur un central de Singtel en Amérique du Nord. Lorsqu'un routeur s'est déconnecté à titre de mesure de protection contre la surcharge de mises à jour de routage, environ 90 routeurs de fournisseurs de périphérie ont suivi, déclenchant un arrêt en cascade que les protections automatisées du réseau n'ont pas pu stopper. La panne a duré de 4 h 05 (heure de l'Est de l'Australie) jusqu'en fin d'après-midi, certains services ne revenant que le lendemain.
Les dommages financiers ont été graves. Singtel, la société mère singapourienne, a perdu plus de 2 milliards de dollars australiens de valeur boursière, son cours de l'action ayant chuté de 4,8 % à la Bourse de Singapour. La PDG d'Optus, Kelly Bayer Rosmarin, a été vivement critiquée pour la communication lente et vague de l'entreprise pendant la crise. Elle a démissionné une semaine plus tard, et l'entreprise a offert aux clients touchés 200 Go de données bonus à titre de compensation.
Le gouvernement australien a commandé un examen indépendant dirigé par le Dr Richard Bean, qui a publié 18 recommandations. Le Sénat a également tenu une enquête publique. L'examen a appelé à de nouvelles règles de communication avec les clients, à un régime de tests du Triple Zéro et à la création d'un responsable dédié au Triple Zéro pour prévenir une récidive.
La déconnexion d'un routeur en a déclenché 90 autres et, faute de commande manuelle, la cascade a tout mis hors service, coûtant 2 milliards de dollars australiens de valeur boursière et le poste de la PDG.
Une seule mise à jour logicielle a dégénéré en panne nationale parce que les mesures de protection automatisées du réseau se sont déclenchées les unes après les autres, sans possibilité d'intervention humaine.
Optus ne disposait d'aucune sauvegarde rapide ni d'aucun basculement de secours permettant de contourner l'effondrement du BGP, laissant 10 millions de clients sans service pendant une demi-journée.
La communication de crise de l'entreprise a été vague et lente, ce qui a encore érodé la confiance du public alors que le réseau était toujours hors service.
La leçon
Une seule modification du réseau peut paralyser les communications de tout un pays — testez les mises à jour de routage de manière isolée et conservez une commande manuelle qui fonctionne à grande échelle.
VÉRIFIEZ LES SOURCES
Les sources
- 2023 Optus outage — Wikipedia en.wikipedia.org
- A major shakeup: the Optus outage investigation — The Conversation theconversation.com
- BBC News — Millions hit by Australian phone network failure (8 November 2023) bbc.com