ユージン・グーストマンは「チューリングテストに合格した」—ただし5分間だけ

2014年6月7日、ロンドンの王立協会で、30人の審査員がいくつかのプログラムと5分間のキーボード会話を行った。そのうちの一つ、モルモットを飼うオデーサ出身の13歳の少年というペルソナを持つチャットボット、ユージン・グーストマンは、審査員10人（33%）に人間と見なされた。この催しを主催したレディング大学のケヴィン・ウォリックは、アラン・チューリングのテストが初めて合格されたと宣言した。

報道はこれを「世界初」として増幅した。BBCは「コンピューターAIがチューリングテストに合格」とトップで報じた。しかし30%という数字は合格基準ではなく、チューリング自身が1950年に「2000年までに機械は審査員の3分の1を騙すだろう」と予測したものだった。ユージンは新参者でもなかった。2001年から競技に参加しており、レブナー賞では他のシステムに後れを取っていた。共同制作者のジョン・デニングでさえ「我々は『ある』チューリングテストに合格したと思うが、それが『あの』チューリングテストかは分からない」と言葉を濁した。

一日も経たないうちに業界は反発した。「ナンセンスだ、全くのナンセンスだ。我々はまだ遠く及んでいない」とステヴァン・ハーナドは述べた。マーヴィン・ミンスキーは「お粗末に設計された『実験』からは何も学べない」と語った。ゲイリー・マーカスはユージンを「巧妙にコーディングされたソフトウェア」でその「錯覚はつかの間だ」と呼び、マレー・シャナハンはこの主張は「完全に的外れで、本物のAI研究の価値を損なう」と述べた。ノエル・シャーキーはその手口を名指しした。「13歳のウクライナ人少年のふりをするという非常に巧妙な策略で、それが会話を制約するのだ」。

ペルソナこそが戦略だった。ペットを飼う非ネイティブの子どもなら、あらゆる支離滅裂な発言が言い訳できる。ラクダの脚は何本かと問い詰められると、ユージンは「2本から4本の間くらい。たぶん、3本？」と答えた。それは壊れているのではなく、子どもらしいと受け取られる答えだった。この見せかけの本当の代償は公衆の理解だった。「AIがチューリングテストに合格した」は繰り返し使われる見出しになり、本物の研究者たちは今も反論を続けている。そして台本通りのペルソナとの5分間の会話が、公衆にとって「合格」が意味するものとして、チューリングの自由な会話に取って代わった。

33%はチューリングの予測であって合格基準ではなく、13歳のペルソナがあらゆる支離滅裂な発言を言い訳にしたため、この見せかけは機械ではなく変装を測ったにすぎない。

チューリングの30%は予測であって合格基準ではなかったが、この催しはそれを基準として扱い、満たした瞬間に勝利を宣言した。

ペルソナが仕事をした。モルモットを飼う13歳なら、あらゆる支離滅裂な発言が人間らしく見えるため、テストは機械ではなく変装を測った。

5分間の無制限チャットは、ユージンが他の7システムに後れを取った25分間のレブナー賞より低いハードルである。

発表は検証を先取りした。「世界初」は業界が意見を述べる前に当日宣言されたため、訂正が決して見出しに追いつかなかった。

チューリングの30%は予測であって合格基準ではなく、あらゆる支離滅裂な発言を言い訳にするペルソナは、機械ではなく変装を測る。

ユージンの勝利は誰にも撤回されず、ほとんど誰にも受け入れられなかった。チャットボットはペルソナを保ち、制作者たちは次へ進み、この出来事は証拠を先取りしたチューリングテスト主張の教科書的事例となった。本当の損害は公衆の言葉遣いにあった。「チューリングテストに合格」は見出しの略語となり、本物のAIの節目は今もそれと戦わなければならない。会話が「無制限」だったという催し側の弁護は、テストがチューリングの自由で何年にもわたる尋問から、追い詰められない10代との5分間へとどれほど縮んだかを浮き彫りにしただけだった。