Twitter legte OnlyFans-ähnliche Abonnements wegen Lücken bei der Erkennung von Kindesmissbrauch auf Eis

Im Frühjahr 2022 prüfte Twitter die Monetarisierung der schon lange auf der Plattform vorhandenen Erwachseneninhalte: Ein Projekt namens Adult Content Monetization sollte es Erwachsenen-Creatorn ermöglichen, kostenpflichtige Abonnements im OnlyFans-Stil zu verkaufen, wobei Twitter einen Anteil an den Erlösen behalten würde. Interne Dokumente, die The Verge erhielt, sowie Interviews mit aktuellen und ehemaligen Mitarbeitern zeigen, dass Ressourcen in das Projekt gesteckt wurden, bevor eine endgültige Freigabe erfolgt war.

Vor dem Start berief Twitter ein 84-köpfiges „Red Team“ ein, um den Plan einem Belastungstest zu unterziehen. Dessen Schlussfolgerung vom April 2022 brachte das Projekt zu Fall: „Twitter kann sexuelle Ausbeutung von Kindern und nicht einvernehmliche Nacktheit nicht in großem Umfang genau erkennen“, schrieb das Team, und dem Unternehmen fehlten Werkzeuge, um zu überprüfen, ob Creator und Nutzer volljährig sind. Inhalte hinter eine Bezahlschranke zu stellen, so die Warnung, würde noch mehr illegales Material aus dem Blickfeld rücken. Im Mai 2022 – Wochen nachdem Elon Musk zugestimmt hatte, das Unternehmen zu kaufen – verschob Twitter das Projekt auf unbestimmte Zeit.

Die Feststellung überraschte niemanden, der Einblick hatte: Fünfzehn Monate zuvor, im Februar 2021, hatte Twitters Health-Team berichtet, dass die Investitionen in Erkennungstechnologie mit dem exponentiellen Wachstum solcher Inhalte nicht Schritt gehalten hätten, wobei Moderatoren mit veralteten Werkzeugen mit bekannten defekten Komponenten „das Schiff über Wasser hielten“. Führungskräfte seien informiert worden, sagten Mitarbeiter, doch die Ressourcen seien nie bereitgestellt worden. Twitter erklärte, man habe „null Toleranz“ gegenüber sexueller Ausbeutung von Kindern und habe erheblich in die Durchsetzung investiert.

Das Projekt Adult Content Monetization wurde vor dem Start auf unbestimmte Zeit verschoben; OnlyFans' prognostizierter Umsatz von 2,5 Mrd. US-Dollar für 2022 zeigte die Gelegenheit, die Twitter liegen ließ

Der Monetarisierungsplan hing von Sicherheitswerkzeugen ab, von denen das Unternehmen bereits wusste, dass sie defekt waren – das eigene Health-Team hatte dies im Februar 2021 berichtet.

Das Red Team stellte fest, dass Twitter sexuelle Ausbeutung von Kindern oder nicht einvernehmliche Nacktheit nicht in großem Umfang erkennen konnte und keine Werkzeuge zur Altersverifikation besaß.

Erwachseneninhalte hinter eine Bezahlschranke zu stellen, hätte mehr illegales Material hinter verschlossene Türen gebracht, außerhalb der Reichweite von Twitters Erkennungssystemen.

Die Führung setzte das Produkt aus, finanzierte aber nicht die Behebungen, sodass die zugrunde liegende Erkennungslücke bestehen blieb.

Interne Red Teams sind nur dann von Bedeutung, wenn die Führung das finanziert, was sie herausfinden: Ein Unternehmen, das weiß, dass seine Sicherheitswerkzeuge defekt sind, sollte keine Produkte bauen, die von ihnen abhängen.

Twitter bestätigte, dass der Arbeitsstrang „aus den richtigen Gründen“ ausgesetzt wurde, stellte aber keine neuen Ressourcen für die Erkennung bereit; Mitarbeiter sagten gegenüber The Verge, die Probleme der Plattform mit Inhalten, die Kinder sexuell ausbeuten, hätten bis August 2022 fortbestanden.