Der Access-Key-Bug von Alibaba Cloud legte die Konsole weltweit lahm – dann starb die Ausgliederung

Am Sonntag nach seinem Double-11-Einkaufsfestival, dem 12. November 2023, fielen die Produktkonsolen und Control-APIs von Alibaba Cloud in allen Regionen aus. Das eigene Health-Panel des Unternehmens zeigte alle 92 Cloud-Produkte in einem abnormalen Zustand, und Verbraucher-Apps wie Taobao, Xianyu, DingTalk und AliDrive funktionierten für Nutzer nicht mehr, ebenso wie Drittanbieterdienste, die auf Alibaba Cloud liefen.

Der offizielle Fehlerbericht führte den Ausfall auf den Access-Key-Dienst (AK) zurück, die Komponente, die Control-Plane-Anfragen authentifiziert. Beim Lesen seiner Whitelist-Daten stieß der Dienst auf eine Leseanomalie, und der Code, der diese Ausnahme behandeln sollte, hatte einen Logikdefekt: Statt sicher zu scheitern, erzeugte er eine unvollständige Whitelist, sodass gültige Anfragen, die nicht auf der Liste standen, abgelehnt wurden. Object Storage, Table Store, Log Service und Message Service hingen vom AK-Dienst ab und fielen teilweise aus; bereits laufende Compute- und Datenbank-Workloads waren nicht betroffen.

Ingenieure korrigierten die Whitelist-Version und starteten den AK-Dienst in Stapeln neu. Die Konsolen kamen ab 18:35 regionweise zurück, die meisten Regionen waren bis 19:20 wiederhergestellt – 1 Stunde 41 Minuten nach Beginn des Fehlers um 17:39 – und die letzten betroffenen Produkte wurden bis 21:11 wiederhergestellt.

Es war der zweite große Ausfall von Alibaba Cloud innerhalb eines Jahres, nach dem Ausfall der Region Hongkong im Dezember 2022. Vier Tage später sagte Alibaba die geplante vollständige Ausgliederung und den Börsengang seiner Cloud-Einheit ab und nannte offiziell US-Chip-Exportkontrollen als Grund. Am 27. November erlitt die Plattform innerhalb eines Monats einen zweiten Ausfall, der Datenbankprodukte in acht Regionen traf.

Konsole und Control-API 1 Stunde 41 Minuten ausgefallen; die vollständige Wiederherstellung dauerte 3,5 Stunden; SLA-Entschädigungsgutscheine werden auf über 100 Mio. ¥ geschätzt – etwa einen Monat Gewinn der Einheit.

Authentifizierung ist eine gemeinsame Abhängigkeit: Der Access-Key-Dienst liegt unter jedem Produkt, sodass ein Fehler dort alle gleichzeitig ausfallen lässt.

Der Logikdefekt des Exception-Handlers verwandelte eine Leseanomalie in eine unvollständige Whitelist, statt auf eine bekanntermaßen funktionierende Kopie zurückzufallen.

Die Wiederherstellung erfolgte manuell – Reparatur der Whitelist und Neustart des AK-Dienstes in Stapeln –, weil es keinen automatischen Rollback-Pfad gab.

Dem Ausfall ging ein Jahr des Umbruchs voraus: zwei CEO-Wechsel und Kostensenkungen in der Cloud-Einheit, was chinesische Branchenanalysten mit schwächerer operativer Disziplin in Verbindung brachten.

Eine Cloud ist nur so stark wie ihre gemeinsame Identitätsebene: Ein defekter Exception-Handler im Access-Key-Dienst ließ alle Produkte auf einmal ausfallen. Gemeinsame Grundlagen brauchen Canaries und Fallbacks.

Alibaba Cloud zahlte Kunden Entschädigungsgutscheine gemäß seinem SLA, das 30 % einer Monatsgebühr zusagt, sobald die Ausfallzeit 43 Minuten überschreitet; einzelne Entwickler, die weniger angesammelt hatten, wurden auf 50 ¥ aufgestockt. Chinesische Branchenschätzungen beziffern die Gesamtsumme auf über 100 Mio. ¥, etwa einen Monat Gewinn der Einheit. Die Entscheidung zur Ausgliederung folgte am 16. November, wobei CEO Eddie Wu sagte, eine vollständige Ausgliederung „möglicherweise nicht die beabsichtigte Wirkung erzielen“ würde. Der Ausfall vom 27. November traf Datenbankkonsolen und OpenAPI in acht Regionen, darunter Peking, Shanghai, Hongkong und Virginia, für fast zwei Stunden.