Eugene Goostman « réussit » le test de Turing — pendant cinq minutes

Le 7 juin 2014, à la Royal Society de Londres, trente juges ont eu des conversations clavier de cinq minutes avec une poignée de programmes. L'un d'eux, Eugene Goostman — un chatbot à la personnalité d'un garçon de 13 ans originaire d'Odessa qui possède un cochon d'Inde — a été pris pour un humain par dix des juges, soit 33 %. Kevin Warwick, de l'université de Reading, qui organisait l'événement, a déclaré que le test d'Alan Turing avait été réussi pour la première fois.

La presse l'a amplifié comme une « première mondiale » : la BBC a titré « Computer AI passes Turing test ». Le chiffre de 30 % n'était pourtant pas un seuil — c'était la propre prédiction de Turing en 1950 selon laquelle les machines tromperaient un tiers des juges d'ici 2000. Eugene n'était pas un nouveau venu : il concourait depuis 2001 et avait terminé derrière d'autres systèmes au prix Loebner. Même son propre collaborateur John Denning restait prudent : « Je pense que nous avons réussi "un" test de Turing, mais je ne sais pas si c'est "le" test de Turing. »

En l'espace d'un jour, le milieu a réagi. « C'est absurde, complètement absurde. Nous n'en sommes même pas proches », a déclaré Stevan Harnad. Marvin Minsky : « On n'apprend rien d'"expériences" mal conçues. » Gary Marcus a qualifié Eugene de « logiciel habilement codé » dont « l'illusion est fugace » ; Murray Shanahan a estimé que l'affirmation était « complètement déplacée, dévalorise la vraie recherche en IA ». Noel Sharkey a nommé l'astuce : « une ruse très habile consistant à se faire passer pour un garçon ukrainien de 13 ans, ce qui contraindrait la conversation. »

La personnalité était la stratégie : un enfant non natif avec un animal de compagnie excuse chaque coq-à-l'âne. Pressé de dire combien de pattes a un chameau, Eugene a répondu « Quelque chose entre 2 et 4. Peut-être trois ? » — une réponse lue comme enfantine, non comme défaillante. Le vrai coût de la supercherie fut la compréhension du public : « l'IA a réussi le test de Turing » est devenu un titre récurrent contre lequel les vrais chercheurs argumentent encore, et des conversations de cinq minutes avec une personnalité scriptée ont remplacé la conversation ouverte de Turing comme ce que « réussir » signifie pour le public.

Les 33 % étaient la prédiction de Turing, non une note de passage, et la personnalité du garçon de 13 ans excusait chaque coq-à-l'âne ; la supercherie mesurait donc le déguisement, non la machine.

Les 30 % de Turing étaient une prédiction, non une note de passage — l'événement l'a traité comme un seuil et a proclamé la victoire dès qu'il a été atteint.

La personnalité a fait le travail : un garçon de 13 ans avec un cochon d'Inde fait paraître humain chaque coq-à-l'âne, si bien que le test mesurait le déguisement, non la machine.

Cinq minutes de conversation libre constituent une barre plus basse que les 25 minutes du prix Loebner, où Eugene s'était classé derrière sept autres systèmes.

L'annonce a dépassé l'examen : la « première mondiale » a été déclarée le jour même, avant que le milieu puisse se prononcer, si bien que la correction n'a jamais égalé le titre.

Les 30 % de Turing étaient une prédiction, non une note de passage ; une personnalité qui excuse chaque coq-à-l'âne mesure le déguisement, non la machine.

La victoire d'Eugene n'a été rétractée par personne et acceptée par peu : le chatbot a conservé sa personnalité et ses créateurs sont passés à autre chose, tandis que l'épisode est devenu le cas d'école d'une affirmation de réussite au test de Turing dépassant ses preuves. Le vrai dommage fut pour le langage public — « réussir le test de Turing » est devenu un raccourci de titre contre lequel de véritables jalons de l'IA doivent encore lutter. La défense de l'événement lui-même, selon laquelle les conversations étaient « non restreintes », ne faisait que souligner à quel point le test s'était réduit, depuis l'interrogatoire ouvert de Turing étalé sur des années, à cinq minutes avec un adolescent impossible à cerner.