Ein Speicher-Bug aus dem Jahr 2011 leerte Gmail-Postfächer; nur Offline-Bandbackups brachten die Mails zurück

Am 27. Februar 2011 begannen Gmail-Nutzer sich anzumelden und fanden ihre Postfächer leer vor. Die Ursache war ein routinemäßiges Update der Speichersoftware, das einen unerwarteten Bug enthielt. Google stoppte die Ausrollung, sobald das Problem auftauchte, und kehrte zur alten Version zurück, doch der Schaden war bereits angerichtet: Mails waren aus Konten gelöscht worden, die nach erster Schätzung 0,08 % der Gmail-Nutzerbasis ausmachten – rund 150.000 Konten, später auf 0,02 % nach unten korrigiert.

Der unangenehme Teil der Nachbetrachtung war die Frage, warum die Kopien nicht geholfen hatten. Gmail hält mehrere Kopien jedes Postfachs in mehreren Rechenzentren. Doch Replikate sind nicht unabhängig, wenn sie dieselbe Software ausführen: „In einigen seltenen Fällen können Software-Bugs mehrere Kopien der Daten betreffen“, schrieb Googles VP Engineering Ben Treynor. Die einzigen sauberen Kopien lagen auf Band – offline und daher immun gegen den Bug. Band ist langsam, weshalb die Wiederherstellung etwa 30 Stunden statt Millisekunden dauerte; die verbleibenden 0,012 % der betroffenen Nutzer wurden bis zum 1. März von Bändern wiederhergestellt.

Google betonte, dass „E-Mail nie verloren ging“, und gemessen an den Maßstäben von Datenverlust-Vorfällen endete die Geschichte gut. Doch die Episode durchbrach die Intuition, dass Cloud-Replikation Sicherheit bedeutet, und Beschwerden über fehlende Mails und Anmeldeprobleme hielten bis in den vierten Tag an. Sie bleibt die Standardreferenz für korreliertes Replikatversagen: Redundanz schützt gegen sterbende Maschinen, nicht gegen denselben Bug, der überall läuft.

Nach erster Schätzung sahen 0,08 % der Nutzer (etwa 150.000 Konten, später auf 0,02 % korrigiert) leere Postfächer; die Wiederherstellung vom Band dauerte etwa 30 Stunden.

Das Speicher-Update führte einen Bug ein, der Daten löschen konnte, und die Ausrollung erreichte die Live-Systeme, bevor der Defekt erkannt wurde.

Gmails mehrere Kopien liefen alle mit derselben Speichersoftware, sodass ein Bug mehrere Replikate über Rechenzentren hinweg treffen konnte.

Die einzige Kopie, die der Bug nicht erreichen konnte, war das Offline-Band – ein Wiederherstellungspfad, den Google trotz Replikation beibehielt und der die Postfächer rettete.

Die Wiederherstellung vom Band war von Natur aus langsam und dehnte eine einzige fehlerhafte Ausrollung auf Tage sichtbaren Schadens für die Nutzer aus.

Replikate schützen gegen Hardware-Ausfälle, nicht gegen Software. Ein Bug kann mehrere Kopien gleichzeitig beschädigen, daher sollte man einen Wiederherstellungspfad außerhalb des Wirkungsbereichs der eigenen Software behalten – bei Gmail das Offline-Band.

Google schloss die Wiederherstellung vom Band ab und veröffentlichte im Official Gmail Blog einen ungewöhnlich offenen Bericht über das Versagen. Der Vorfall wurde zu einem stehenden Argument der Zuverlässigkeitstechnik, mindestens ein Wiederherstellungsmedium außerhalb der Ausfalldomäne der Produktionssoftware zu halten – das Band fand dadurch Eingang in den Wortschatz des Cloud-Zeitalters. Gmails Replikationsmodell selbst blieb unverändert; was sich änderte, war die Vorsicht gegenüber korrelierten Softwarefehlern in Mehrkopiensystemen.