Tencent Cloud verlor sämtliche Daten eines Kunden durch einen Firmware-Fehler und bot 1 % der Schadensersatzforderung an

Am 20. Juli 2018 erlitt die Betriebssystem-Cloud-Festplatte einer einzelnen von Beijing Qingbo Data Control Technology gemieteten Tencent-Cloud-CVM eine Korruption der Dateisystem-Metadaten. Bei dem Unternehmen handelt es sich um das Startup hinter dem WeChat-Medienkonto Qianyan Shukong (前沿数控), einem Fachmedium der Maschinenbauindustrie. Tencent Cloud führte dies auf einen stillen Fehler zurück, der durch einen Firmware-Bug in der physischen Festplatte verursacht wurde: Zurückgelesene Daten wichen von den geschriebenen ab. Dateisystem- und Anbieterexperten konnten die Daten nicht wiederherstellen. Nach acht Monaten auf der Plattform verlor der Kunde alles, einschließlich der Sicherungen.

Der Streit wurde am 5. August öffentlich, als der Kunde auf Weibo postete. Tencent veröffentlichte seine Antwort: Rückerstattung von 3.569 ¥ der tatsächlichen Ausgaben — das Maximum, das seine Servicevereinbarung zuließ — plus 132.900 ¥ in Bargeld oder Guthaben, was nach eigener Angabe das 37-Fache alles dessen war, was der Kunde jemals gezahlt hatte. Der geltend gemachte Verlust betrug 11,016 Mio. ¥. Tencent erklärte, der Kunde habe zudem Investitionen und Traffic-Unterstützung gefordert; der Kunde erklärte, er habe dies erst verlangt, nachdem ihm mitgeteilt worden sei, dass eine Wiederherstellung aussichtslos sei. Am nächsten Tag räumte Tencent ein, dass Mitarbeiter gegen Regeln zur Datenverlagerung verstoßen hatten, und kündigte Verbesserungen an — jedoch keine unmittelbare Lösung.

Brancheningenieure zerlegten beide Seiten. Der Kunde hatte eine einzelne CVM mit ausschließlich einer Systemfestplatte gekauft — keine Datenfestplatte, kein Load Balancing, keine Sicherung außerhalb der Cloud — und die von Tencent stark beworbene Datenzuverlässigkeit von 99,9999999 % sowie die dreifache Replikationsspeicherung gelten für Cloud-Datenfestplatten, nicht eindeutig für eine Betriebssystemfestplatte. Der Gründer des Kunden entgegnete, Tencent habe mit dreifacher Replikation mit einer Ausfallwahrscheinlichkeit von eins zu einer Milliarde geworben, sodass er annahm, eine weitere Sicherung sei nicht nötig. Der Vorfall wurde zum Lehrbuchstreit der chinesischen Cloud-Computing-Branche darüber, was Zuverlässigkeitszahlen tatsächlich abdecken.

Ein Medien-Startup verlor alle Daten einschließlich der Sicherungen; es forderte 11,0 Mio. ¥ (~1,6 Mio. $); Tencent bot eine Rückerstattung von 3.569 ¥ plus 132.900 ¥ an — etwa das 37-Fache der Cloud-Ausgaben des Kunden

Tencent führte Datenverlagerungsvorgänge auf Festplatten mit fehlerhafter Firmware durch und räumte später ein, dass Mitarbeiter gegen Betriebsregeln verstoßen hatten — die unsachgemäßen Vorgänge hinter dem stillen Fehler.

Die beworbene Zuverlässigkeit von 99,9999999 % und die dreifache Replikationsspeicherung deckten keine einzelne CVM-Systemfestplatte ab, sodass die Schlagzeile ein Vertrauen schuf, das die Architektur nicht stützen konnte.

Der Vertrag begrenzte die Haftung auf nahezu die gezahlten Gebühren — etwa 1 % des geltend gemachten Verlusts — und der Kunde unterhielt keine unabhängige Sicherung, sodass weder finanzieller noch datenbezogener Rückhalt blieb.

Der Entschädigungsplan kam vierzehn Tage nach dem Verlust und wurde als abweisend aufgefasst, was einen Betriebsausfall in eine öffentliche Vertrauenskrise für Chinas zweitgrößte Public Cloud verwandelte.

Zuverlässigkeit mit neun Neunen ist eine Marketingzahl, keine Architektur: eine VM, eine Betriebssystemfestplatte, keine Sicherungen verwandeln einen seltenen Ausfall in einen Totalverlust. Prüfen Sie, was die SLA abdeckt — und was der Vertrag zahlt.

Tencent nahm jede Festplatte mit der fehlerhaften Firmware offline, und seine Erklärung vom 7. August kündigte betriebliche Verbesserungen an, während sie Regelverstöße bei der Datenverlagerung einräumte. Die Finanzlücke — 136.469 ¥ Angebot gegenüber 11,016 Mio. ¥ Forderung — wurde nie öffentlich ausgeglichen. Der Fall wurde zur Zwei-Zeilen-Lehre der chinesischen Cloud-Branche: Halten Sie Sicherungen außerhalb Ihres Anbieters, egal was die SLA sagt, und lesen Sie Zuverlässigkeitszahlen so, dass sie bestimmte Produkte abdecken, nicht Ihre Architektur. Tencent Cloud behielt seine Position als Nummer zwei; der Fall taucht noch immer auf, wann immer Anbieter mit neun Neunen werben.