Eugene Goostman 'passa' no teste de Turing — por cinco minutos

Em 7 de junho de 2014, na Royal Society, em Londres, trinta juízes mantiveram conversas de cinco minutos por teclado com um punhado de programas. Um deles, Eugene Goostman — um chatbot com a persona de um garoto de 13 anos de Odesa que tem um porquinho-da-índia — foi tomado por humano por dez dos juízes, 33%. Kevin Warwick, da Universidade de Reading, que organizou o evento, declarou que o teste de Alan Turing havia sido passado pela primeira vez.

A imprensa amplificou como um 'inédito mundial': a BBC abriu com 'Computer AI passes Turing test'. A cifra de 30%, porém, não era um limiar — era a própria previsão de Turing, de 1950, de que as máquinas enganariam um terço dos juízes até 2000. Eugene não era novato: competia desde 2001 e terminou atrás de outros sistemas no Prêmio Loebner. Até seu próprio colaborador John Denning fez ressalvas: 'Acho que passamos em "um" teste de Turing, mas não sei se é "o" teste de Turing.'

Em menos de um dia, a área reagiu. 'É bobagem, bobagem completa. Não estamos nem perto', disse Stevan Harnad. Marvin Minsky: 'Nada se aprende com "experimentos" mal concebidos.' Gary Marcus chamou Eugene de 'um pedaço de software engenhosamente codificado' cuja 'ilusão é fugaz'; Murray Shanahan disse que a alegação era 'completamente descabida, desvaloriza a pesquisa real em IA'. Noel Sharkey nomeou o truque: 'um artifício muito engenhoso de fingir ser um garoto ucraniano de 13 anos, o que restringiria a conversa.'

A persona era a estratégia: uma criança não nativa com um animal de estimação desculpa cada non sequitur. Pressionado sobre quantas pernas tem um camelo, Eugene respondeu 'Algo entre 2 e 4. Talvez três?' — uma resposta lida como infantil, não como quebrada. O custo real da farsa foi o entendimento público: 'a IA passou no teste de Turing' tornou-se uma manchete recorrente contra a qual pesquisadores de verdade ainda argumentam, e conversas de cinco minutos com uma persona roteirizada substituíram a conversa aberta de Turing como aquilo que 'passar' significa para o público.

Os 33% eram a previsão de Turing, não uma nota de aprovação, e a persona de 13 anos desculpava cada non sequitur, de modo que a farsa mediu o disfarce, não a máquina.

Os 30% de Turing eram uma previsão, não uma nota de aprovação — o evento os tratou como limiar e declarou vitória no momento em que foram atingidos.

A persona fez o trabalho: um garoto de 13 anos com um porquinho-da-índia faz cada non sequitur parecer humano, de modo que o teste mediu o disfarce, não a máquina.

Cinco minutos de conversa irrestrita são uma barra mais baixa do que os 25 minutos do Prêmio Loebner, no qual Eugene havia ficado atrás de sete outros sistemas.

O anúncio ultrapassou o escrutínio: o 'inédito mundial' foi declarado no mesmo dia, antes que a área pudesse se manifestar, de modo que a correção nunca acompanhou a manchete.

Os 30% de Turing eram uma previsão, não uma nota de aprovação; uma persona que desculpa cada non sequitur mede o disfarce, não a máquina.

A vitória de Eugene não foi retratada por ninguém e foi aceita por poucos: o chatbot manteve sua persona e seus criadores seguiram adiante, enquanto o episódio se tornou o caso exemplar de uma alegação sobre o teste de Turing que ultrapassa suas evidências. O dano real foi à linguagem pública — 'passar no teste de Turing' tornou-se um atalho de manchete contra o qual marcos genuínos da IA ainda precisam lutar. A própria defesa do evento, de que as conversas eram 'irrestritas', só evidenciou o quanto o teste encolhera do interrogatório aberto e de anos de duração de Turing para cinco minutos com um adolescente que não se deixa encurralar.