Eugene Goostman 'supera' el test de Turing — durante cinco minutos

El 7 de junio de 2014, en la Royal Society de Londres, treinta jueces mantuvieron conversaciones de cinco minutos por teclado con un puñado de programas. A uno de ellos, Eugene Goostman —un chatbot con la personalidad de un niño de 13 años de Odesa que tiene un conejillo de Indias—, diez de los jueces lo tomaron por humano, el 33%. Kevin Warwick, de la Universidad de Reading, que organizó el evento, declaró que se había superado por primera vez el test de Alan Turing.

La prensa lo amplificó como una 'primicia mundial': la BBC tituló 'Computer AI passes Turing test'. Sin embargo, la cifra del 30% no era un umbral, sino la propia predicción de Turing en 1950 de que las máquinas engañarían a un tercio de los jueces para el año 2000. Eugene no era un recién llegado: competía desde 2001 y había quedado por detrás de otros sistemas en el Premio Loebner. Incluso su propio colaborador John Denning matizó: «Creo que superamos 'un' test de Turing, pero no sé si es 'el' test de Turing».

En cuestión de un día, el sector replicó. «Es una tontería, una completa tontería. Ni siquiera estamos cerca», dijo Stevan Harnad. Marvin Minsky: «No se aprende nada de 'experimentos' mal diseñados». Gary Marcus calificó a Eugene de «pieza de software ingeniosamente codificada» cuya «ilusión es fugaz»; Murray Shanahan dijo que la afirmación estaba «completamente fuera de lugar y devalúa la investigación real en IA». Noel Sharkey identificó el truco: «una artimaña muy ingeniosa para fingir ser un niño ucraniano de 13 años, lo que condicionaría la conversación».

La personalidad era la estrategia: un niño no nativo con una mascota excusa cualquier incongruencia. Preguntado por cuántas patas tiene un camello, Eugene respondió «Algo entre 2 y 4. ¿Quizá tres?», una respuesta que se lee como infantil, no como averiada. El verdadero coste de la artimaña fue la comprensión pública: «la IA superó el test de Turing» se convirtió en un titular recurrente contra el que los investigadores reales siguen argumentando, y las charlas de cinco minutos con una personalidad guionizada sustituyeron la conversación abierta de Turing como lo que significa «superar» para el público.

El 33% era la predicción de Turing, no una nota de aprobado, y la personalidad del niño de 13 años excusaba cualquier incongruencia, así que la artimaña midió el disfraz, no la máquina.

El 30% de Turing era una predicción, no una nota de aprobado: el evento lo trató como un umbral y declaró la victoria en el momento en que se alcanzó.

La personalidad hizo el trabajo: un niño de 13 años con un conejillo de Indias hace que cualquier incongruencia parezca humana, así que la prueba midió el disfraz, no la máquina.

Cinco minutos de charla sin restricciones son un listón más bajo que los 25 minutos del Premio Loebner, en el que Eugene había quedado por detrás de otros siete sistemas.

El anuncio superó al escrutinio: la 'primicia mundial' se declaró el mismo día, antes de que el sector pudiera pronunciarse, así que la corrección nunca estuvo a la altura del titular.

El 30% de Turing era una predicción, no una nota de aprobado; una personalidad que excusa cualquier incongruencia mide el disfraz, no la máquina.

La victoria de Eugene no fue retractada por nadie y fue aceptada por pocos: el chatbot conservó su personalidad y sus creadores siguieron adelante, mientras el episodio se convirtió en el caso de manual de una afirmación sobre el test de Turing que supera a su evidencia. El daño real fue al lenguaje público: «superar el test de Turing» se convirtió en una abreviatura de titular contra la que los hitos genuinos de la IA todavía tienen que luchar. La propia defensa del evento, que las conversaciones eran «sin restricciones», solo puso de relieve hasta qué punto la prueba se había encogido desde el interrogatorio abierto y de años de duración de Turing hasta cinco minutos con un adolescente al que no se puede acorralar.