트위터, 아동 안전 탐지 공백으로 인해 OnlyFans 스타일 구독 계획 보류

2022년 봄, 트위터는 오랫동안 플랫폼에 존재해 온 성인 콘텐츠를 수익화하는 방안을 검토했습니다. '성인 콘텐츠 수익화(Adult Content Monetization)'라는 프로젝트는 성인 창작자들이 OnlyFans 스타일의 유료 구독을 판매하고 트위터가 수익의 일부를 가져가는 것을 허용하는 것이었습니다. The Verge가 입수한 내부 문서와 현직 및 전직 직원들과의 인터뷰에 따르면, 최종 승인을 앞두고 이 프로젝트에 자원이 투입되었습니다.

출시 전 트위터는 이 계획을 검증하기 위해 84명 규모의 '레드팀'을 소집했습니다. 2022년 4월 레드팀의 결론은 프로젝트를 좌초시켰습니다. 레드팀은 '트위터는 아동 성 착취와 비동의 누드를 대규모로 정확히 탐지할 수 없다'고 썼으며, 회사에는 창작자와 소비자가 법적 연령인지 확인할 도구가 없었습니다. 레드팀은 유료화가 더 많은 불법 자료를 시야 밖으로 옮길 것이라고 경고했습니다. 2022년 5월, 일론 머스크가 회사 인수에 합의한 지 몇 주 후, 트위터는 프로젝트를 무기한 연기했습니다.

이 발견은 내부에 있던 사람들에게 놀라운 일이 아니었습니다. 15개월 전인 2021년 2월, 트위터의 Health 팀은 탐지 기술에 대한 투자가 그러한 콘텐츠의 기하급수적 증가 속도를 따라가지 못했으며, 중재자들이 알려진 결함이 있는 레거시 도구로 '배를 겨우 떠 있게' 하고 있다고 보고했습니다. 직원들에 따르면 경영진은 보고를 받았지만 자원은 결코 투입되지 않았습니다. 트위터는 아동 성 착취에 대해 '무관용' 원칙을 가지고 있으며 단속에 상당히 투자해 왔다고 밝혔습니다.

성인 콘텐츠 수익화 프로젝트는 출시 전에 무기한 연기되었습니다. OnlyFans의 2022년 예상 매출 25억 달러는 트위터가 포기한 기회를 보여줍니다.

수익화 계획은 회사가 이미 고장났다는 것을 알고 있던 안전 도구에 의존했습니다. 회사의 Health 팀이 2021년 2월에 그렇게 보고했었습니다.

레드팀은 트위터가 아동 성 착취나 비동의 누드를 대규모로 탐지할 수 없으며 연령 확인 도구도 없다는 것을 발견했습니다.

성인 콘텐츠를 유료화했다면 더 많은 불법 자료가 트위터의 탐지 시스템의 손이 닿지 않는 닫힌 문 뒤로 옮겨졌을 것입니다.

경영진은 제품을 일시 중단했지만 수정 작업에 자금을 지원하지 않아 근본적인 탐지 공백이 그대로 남았습니다.

내부 레드팀은 경영진이 그들이 발견한 것에 자금을 지원할 때만 의미가 있습니다. 안전 도구가 고장났다는 것을 아는 회사는 그것에 의존하는 제품을 만들어서는 안 됩니다.

트위터는 해당 작업 흐름이 '올바른 이유로' 일시 중단되었다고 확인했지만 탐지에 새로운 자원을 투입하지는 않았습니다. 직원들은 The Verge에 플랫폼의 아동을 성적으로 착취하는 콘텐츠 문제가 2022년 8월 현재까지 지속되었다고 말했습니다.