Twitter、児童安全の検出ギャップを理由にOnlyFans型サブスクリプションを棚上げ

2022年春、Twitterはかねてから自社プラットフォーム上に存在していた成人向けコンテンツの収益化を検討した。Adult Content Monetizationと呼ばれるプロジェクトは、成人クリエイターがOnlyFans型の有料サブスクリプションを販売できるようにし、Twitterが収益の一部を取るというものだった。The Vergeが入手した内部文書と現元従業員への取材によると、最終承認を前にリソースがこのプロジェクトに投入されていた。

ローンチ前に、Twitterは計画を徹底的に検証するため84人の従業員による「レッドチーム」を招集した。2022年4月の結論はプロジェクトを頓挫させた。「Twitterは児童の性的搾取と非同意のヌードを大規模に正確に検出できない」とチームは書き、同社にはクリエイターと消費者が法定年齢に達していることを確認するツールが欠けていた。コンテンツをペイウォールの内側に置くことは、さらに多くの違法素材を目に触れない場所へ移すことになると警告した。2022年5月、イーロン・マスクが同社買収に合意してから数週間後、Twitterはプロジェクトを無期限に延期した。

この発見は内部にいた誰にとっても驚きではなかった。15か月前の2021年2月、TwitterのHealthチームは、検出技術への投資がこうしたコンテンツの指数的な増加に追いついておらず、モデレーターが既知の故障部品を抱えた旧式ツールで「船を浮かせ続けている」と報告していた。従業員によれば経営陣には伝えられていたが、リソースが投じられることはなかった。Twitterは児童の性的搾取に対して「ゼロ・トレランス」であり、執行に大幅な投資をしてきたと述べた。

Adult Content Monetizationプロジェクトはローンチ前に無期限延期された。OnlyFansの2022年の予想収益25億ドルは、Twitterが手放した機会を示していた。

収益化計画は、同社がすでに故障していると知っていた安全ツールに依存していた。自社のHealthチームが2021年2月にそう報告していた。

レッドチームは、Twitterが児童の性的搾取や非同意のヌードを大規模に検出できず、年齢確認ツールも持っていないことを突き止めた。

成人向けコンテンツをペイウォールの内側に置くことは、より多くの違法素材をTwitterの検出システムの届かない閉ざされた場所へ移すことになっただろう。

経営陣は製品を一時停止したが修正に資金を出さず、根底にある検出ギャップを残したままにした。

内部レッドチームは、経営陣が見つけた問題に資金を出して初めて意味を持つ。自社の安全ツールが故障していると知っている企業は、それに依存する製品を構築すべきではない。

Twitterはこのワークストリームが「正しい理由で」一時停止されたことを認めたが、検出に新たなリソースを投じることはなかった。従業員はThe Vergeに対し、児童を性的に搾取するコンテンツに関するプラットフォームの問題は2022年8月時点でも続いていたと語った。