何が起きたか
2021年半ば、『Sulli Deals』と呼ばれるアプリがGitHub上に現れ、インドのイスラム教徒の女性の写真を、本人の同意なく模擬「オークション」にかけられたかのように表示するコードを使用していた。GitHubが削除するまで、数週間にわたってオンライン上に残っていた。2022年1月1日には、同じ蔑称のパターン、同じオークション形式を用い、ジャーナリストや活動家を含む、同じ種類の率直な女性たちの多くを標的にした『Bulli Bai』と呼ばれるほぼ同一のアプリが再び現れ、これもGitHubのコードリポジトリ上でホストされていた。
GitHubは、2つ目のアプリがソーシャルメディアで大規模な注目を集めるとすぐに削除したが、批評家は、7,300万人の開発者を抱え、長年にわたるハラスメント対策ポリシーを持つ企業が、一度削除したコードのクローンを検知する仕組みを持っていなかったと指摘した。GitHubはアップロードされたコードを積極的にモデレートしておらず、苦情を受けて初めて対応するため、2つ目のアプリは、同社の誰かが気づく前に公開され、広くスクリーンショットが撮られていた。
インドのデジタル権利擁護団体は、GitHubがSulli Dealsの削除をどのように扱ったか、その後何を変更したかについての説明を一切公表していないと述べた。そのため、8か月後に新しい名前で再構築されたバージョンが再び公開されるのを防ぐ仕組みは何もなかった。
何を犠牲にしたか
GitHubの最も急成長している開発者市場において、世界的な報道とユーザーからの反発の第2波が起こったが、同じコードがどのように再構築され再投稿されたかについての公的な説明はなかった。
なぜ起きたか
GitHubのモデレーションは積極的ではなく苦情駆動型であったため、すでに削除されたコードのクローンが再アップロードされ、バイラルになるまで公開されたままになる可能性があった。
同社は最初の削除について公的な説明を一切行わなかったため、同じパターンのコードを監視する必要があるという文書化されたシグナルは、内部的にも外部的にも存在しなかった。
人を標的にするコードは、1行の違いしかない合法的なコードと自動的に区別するのが難しく、GitHub自身のポリシーチームも、包括的な技術的修正が困難であることを認めていた。
標的は主に、インド与党の宗教的少数派への対応を声高に批判する人々であり、このアプリは一度きりの悪戯ではなく、特定の女性を沈黙させることを目的としたハラスメントとして機能していた。
教訓
1つの違反を削除しても、そのほぼコピーにフラグを立てる方法がなければ、再発は確実である。モデレーションは単一のインスタンスだけでなく、コード内のパターンを標的にする必要がある。
その後
GitHubは反発を受けてBulli Baiを削除し、ハラスメントや差別に対するポリシーを維持していると述べたが、再発がどのように起きたか、またどのようなモデレーションの変更が行われたかについて、Rest of Worldからの具体的な質問には答えなかった。インド警察はアプリの作成者に対する捜査を開始した。この事件の後、コードベースのハラスメントに関するGitHubの公開ポリシー変更や透明性レポートはなかった。
出典をたどる
出典
- Why anti-Muslim apps keep reappearing on GitHub Rest of World · restofworld.org ·
- Github shuts down fake online auction website targeting Muslim women in India The Washington Post · washingtonpost.com ·
- Muslim Women Were 'Auctioned Like Cattle' on a Hate Site Vice · vice.com