Twitter a abandonné les abonnements de type OnlyFans en raison de lacunes dans la détection des contenus pédocriminels

Au printemps 2022, Twitter a étudié la possibilité de monétiser le contenu pour adultes présent depuis longtemps sur sa plateforme : un projet appelé Adult Content Monetization devait permettre aux créateurs adultes de vendre des abonnements payants de type OnlyFans, Twitter conservant une part des revenus. Des documents internes obtenus par The Verge, ainsi que des entretiens avec des employés actuels et anciens, montrent que des ressources ont été affectées au projet avant qu'il ne reçoive le feu vert définitif.

Avant le lancement, Twitter a constitué une « Red Team » de 84 employés pour mettre le plan à l'épreuve. Sa conclusion d'avril 2022 a fait dérailler le projet : « Twitter ne peut pas détecter avec précision l'exploitation sexuelle des enfants et la nudité non consentie à grande échelle », a écrit l'équipe, et l'entreprise manquait d'outils pour vérifier que les créateurs et les consommateurs étaient en âge légal. Le passage du contenu derrière un paywall, avertissait-elle, ferait sortir encore davantage de matériel illégal du champ de vision. En mai 2022 — quelques semaines après qu'Elon Musk a accepté de racheter l'entreprise — Twitter a reporté le projet indéfiniment.

La conclusion n'a surpris personne parmi ceux qui connaissaient l'intérieur : quinze mois plus tôt, l'équipe Health de Twitter avait signalé en février 2021 que les investissements dans la technologie de détection n'avaient pas suivi la croissance exponentielle de ce type de contenu, les modérateurs « maintenant le navire à flot » avec des outils hérités dont certains composants étaient notoirement défaillants. Les dirigeants ont été informés, selon des employés, mais les ressources n'ont jamais été engagées. Twitter a déclaré avoir une « tolérance zéro » envers l'exploitation sexuelle des enfants et avoir investi de manière significative dans l'application des règles.

Le projet Adult Content Monetization a été reporté indéfiniment avant son lancement ; les 2,5 milliards de dollars de revenus projetés d'OnlyFans pour 2022 illustrent l'opportunité que Twitter a laissée passer

Le plan de monétisation dépendait d'outils de sécurité que l'entreprise savait déjà défaillants — sa propre équipe Health l'avait signalé en février 2021.

La Red Team a constaté que Twitter ne pouvait pas détecter à grande échelle l'exploitation sexuelle des enfants ni la nudité non consentie, et ne disposait d'aucun outil de vérification de l'âge.

Le passage du contenu pour adultes derrière un paywall aurait fait basculer davantage de matériel illégal à l'abri des regards, hors de portée des systèmes de détection de Twitter.

La direction a suspendu le produit mais n'a pas financé les correctifs, laissant en place la lacune de détection sous-jacente.

Les red teams internes n'ont d'importance que si la direction finance ce qu'elles découvrent : une entreprise qui sait que ses outils de sécurité sont défaillants ne devrait pas construire de produits qui en dépendent.

Twitter a confirmé que le chantier avait été suspendu « pour les bonnes raisons » mais n'a engagé aucune nouvelle ressource dans la détection ; des employés ont déclaré à The Verge que les problèmes de la plateforme liés aux contenus qui exploitent sexuellement des enfants persistaient en août 2022.