Twitter engavetou assinaturas no estilo OnlyFans por falhas na detecção de segurança infantil

Na primavera de 2022, o Twitter estudou monetizar o conteúdo adulto há muito presente em sua plataforma: um projeto chamado Adult Content Monetization permitiria que criadores adultos vendessem assinaturas pagas no estilo OnlyFans, com o Twitter ficando com uma parte da receita. Documentos internos obtidos pelo The Verge, além de entrevistas com funcionários atuais e antigos, mostram que recursos foram direcionados ao projeto antes de uma aprovação final.

Antes do lançamento, o Twitter convocou um 'Red Team' de 84 funcionários para testar o plano sob pressão. A conclusão de abril de 2022 descarrilou o projeto: 'O Twitter não consegue detectar com precisão exploração sexual infantil e nudez não consensual em escala', escreveu a equipe, e a empresa não tinha ferramentas para verificar se criadores e consumidores tinham idade legal. Colocar o conteúdo atrás de um paywall, alertou, tiraria ainda mais material ilegal da vista. Em maio de 2022 — semanas depois de Elon Musk concordar em comprar a empresa — o Twitter adiou o projeto por tempo indeterminado.

A constatação não surpreendeu ninguém que estivesse por dentro: quinze meses antes, a equipe de Saúde do Twitter havia relatado em fevereiro de 2021 que o investimento em tecnologia de detecção não acompanhava o crescimento exponencial desse tipo de conteúdo, com moderadores 'mantendo o navio à tona' com ferramentas legadas que tinham componentes sabidamente quebrados. Executivos foram informados, disseram funcionários, mas os recursos nunca foram comprometidos. O Twitter afirmou ter 'tolerância zero' com exploração sexual infantil e ter investido significativamente na aplicação das regras.

O projeto Adult Content Monetization foi adiado por tempo indeterminado antes do lançamento; a receita projetada de US$ 2,5 bilhões do OnlyFans em 2022 mostrava a oportunidade da qual o Twitter abriu mão

O plano de monetização dependia de ferramentas de segurança que a empresa já sabia estarem quebradas — sua própria equipe de Saúde havia relatado isso em fevereiro de 2021.

O Red Team concluiu que o Twitter não conseguia detectar exploração sexual infantil ou nudez não consensual em escala, e não tinha ferramentas de verificação de idade.

Colocar conteúdo adulto atrás de um paywall teria movido mais material ilegal para portas fechadas, fora do alcance dos sistemas de detecção do Twitter.

A liderança pausou o produto, mas não financiou as correções, deixando a lacuna de detecção subjacente no lugar.

Red teams internos só importam se a liderança financiar o que eles encontram: uma empresa que sabe que suas ferramentas de segurança estão quebradas não deveria construir produtos que dependam delas.

O Twitter confirmou que a linha de trabalho foi pausada 'pelos motivos certos', mas não comprometeu novos recursos para detecção; funcionários disseram ao The Verge que os problemas da plataforma com conteúdo que explora sexualmente crianças persistiam em agosto de 2022.