Der Ausfall der Kühlung bei Vipshop kostete 100 Mio. ¥ und einem VP den Job

Am 29. März 2023 erlitt die E-Commerce-Plattform von Vipshop einen katastrophalen Ausfall, als ein Ausfall des Kühlsystems in ihrem IDC (Internet Data Centre) in Nansha die Temperaturen in den Serverräumen rasch ansteigen ließ und eine Kaskade von Geräteabschaltungen auslöste. Der Ausfall dauerte über 12 Stunden, betraf mehr als 8 Millionen Kunden und verursachte dem Unternehmen über 100 Millionen ¥ direkten Schaden. Vipshop stufte den Vorfall als Ausfall der Stufe P0 (höchste Schwere) ein.

Die Reaktion des Unternehmens war schnell und öffentlich: Der Leiter der Abteilung für die Infrastrukturplattform wurde entlassen, und die direkten Vorgesetzten der betroffenen Teams wurden zur Verantwortung gezogen. Der Vorfall betraf auch Tencent, das Dienste im selben Rechenzentrum hostete und das Ereignis intern als „Unfall der Stufe 1“ einstufte, was zu Kritik, Degradierungen und Entlassungen mehrerer Führungskräfte führte. Der Ausfall legte die Risiken einer Single-Data-Centre-Architektur und einer unzureichenden Notfallwiederherstellungsplanung offen.

Vipshop lief auf einem einzigen Rechenzentrum ohne Failover, sodass ein Kühlungsausfall über 100 Mio. ¥ und dem VP seinen Job kostete.

Vipshop betrieb seine gesamte Plattform auf einem einzigen Rechenzentrum ohne Echtzeit-Failover – ein Kühlungsausfall in einem Raum legte das gesamte Unternehmen lahm

Der Ausfall dauerte 12 Stunden, was darauf hindeutet, dass selbst grundlegende Notfallwiederherstellungsverfahren nicht vorhanden waren oder nicht schnell genug aktiviert werden konnten

Ein einziges Rechenzentrum ist ein Single Point of Failure, und ein Kühlungsausfall ist kein außergewöhnliches Ereignis – er ist ein vorhersehbares Risiko, das jede Plattform überstehen sollte