Am 4. Oktober 2021 um 15:39 UTC gingen Facebook und alles, was dazugehört – Instagram, WhatsApp, Messenger, Oculus – weltweit offline. In den folgenden sechs bis sieben Stunden konnten Milliarden von Menschen sie schlicht nicht erreichen. Die Ursache war kein Cyberangriff. Während einer Routinewartung führte ein Ingenieur einen Befehl aus, der die Kapazität des globalen Backbone-Netzes von Facebook ermitteln sollte. Der Befehl ging schief und trennte versehentlich alle Rechenzentren von Facebook auf einmal von diesem Backbone.
Die Architektur machte aus einem fehlerhaften Befehl eine Katastrophe. Facebook betrieb seine eigenen DNS-Server, und diese Server waren so konfiguriert, dass sie ihre BGP-Routen – die Adressbucheinträge des Internets – zurückzogen, wenn sie den Kontakt zu den Rechenzentren verloren. Als das Backbone ausfiel, teilten die DNS-Server dem Rest des Internets also pflichtgemäß mit, dass die Adressen von Facebook nicht mehr existierten. Facebook hatte sich damit praktisch selbst aus dem Internet gelöscht, und der Rückzug breitete sich so gründlich aus, dass selbst die eigenen Werkzeuge von Facebook es kaum erreichen konnten, um es zu reparieren.
Die Aussperrung war fast komisch vollständig. Auch die internen Systeme von Facebook fielen aus: Mitarbeiter konnten keine externen E-Mails senden, nicht auf das Firmenverzeichnis zugreifen und – ein Detail, das Schlagzeilen machte – Bürogebäude und Konferenzräume nicht mit ihren Sicherheitsausweisen öffnen, die vom selben Netz abhingen. Für die Wiederherstellung musste ein Team physisch in das Rechenzentrum in Santa Clara gelangen und die Server manuell zurücksetzen. Die Dienste kamen zwischen etwa 21:50 und 22:50 UTC nach und nach zurück. Die Aktien von Facebook fielen an diesem Tag um fast 5 %, und das persönliche Vermögen von Mark Zuckerberg sank um mehr als 6 Milliarden Dollar.
DNS-Server zogen ihre Routen beim Verlust des Kontakts automatisch zurück, sodass der Ausfall sich kaskadenartig ausbreitete; die Wiederherstellung erforderte physischen Zugang und kostete 6 Stunden und über 60 Mio. $.
Ein einziger Wartungsbefehl, ohne ausreichende Schutzvorkehrungen ausgeführt, trennte alle Rechenzentren von Facebook auf einmal von seinem Backbone.
Die DNS-Server waren so ausgelegt, dass sie ihre BGP-Routen zurückzogen, wenn sie die Rechenzentren verloren – so löschte der Ausfall Facebook automatisch aus den Routing-Tabellen des Internets.
Wiederherstellungswerkzeuge und Zugänge (einschließlich der physischen Gebäudeausweise) hingen von demselben Netz ab, das ausgefallen war, und sperrten die Ingenieure von der Behebung aus.
Es gab keinen Out-of-Band-Pfad, um die Systeme zu erreichen und die Änderung schnell rückgängig zu machen.
Baue deinen Wiederherstellungspfad so, dass er nicht von dem abhängt, was gerade ausgefallen ist. Wenn dein DNS, deine Authentifizierung und deine Tür-Ausweise alle über das Netz laufen, das du gerade lahmgelegt hast, hast du dich selbst ausgesperrt.
Das Engineering-Team von Facebook veröffentlichte am nächsten Tag eine ausführliche Erklärung, und das Unternehmen entschuldigte sich. Der Ausfall – der schlimmste seit 2008 – kostete schätzungsweise 60 Millionen Dollar oder mehr an Werbeeinnahmen und drückte den Börsenwert um Milliarden, und er trieb Nutzer kurzzeitig zu konkurrierenden Plattformen. Er wurde zu einem Lehrbuchfall der Netzwerktechnik für die Gefahren einzelner Ausfallpunkte, für Wiederherstellungssysteme, die von den Systemen abhängen, die sie wiederherstellen sollen, und dafür, wie ein einziger ungeschützter Befehl einen Dienst lahmlegen kann, den ein Drittel der Menschheit nutzt.
DEN BELEGEN FOLGEN