유진 구스트만, '튜링 테스트를 통과'하다 — 5분 동안

2014년 6월 7일 런던 왕립학회에서 심사위원 30명이 몇몇 프로그램과 5분간 키보드 대화를 나눴다. 그중 하나인 유진 구스트만 — 오데사 출신 13세 소년이 기니피그를 키운다는 인격을 가진 챗봇 — 은 심사위원 10명, 즉 33%에게 인간으로 여겨졌다. 행사를 주최한 레딩대학교의 케빈 워릭은 앨런 튜링의 테스트가 처음으로 통과되었다고 선언했다.

언론은 이를 '세계 최초'로 확대 보도했다. BBC는 '컴퓨터 AI, 튜링 테스트 통과'를 앞세웠다. 그러나 30%라는 수치는 기준선이 아니었다 — 그것은 2000년까지 기계가 심사위원 3분의 1을 속일 것이라는 튜링 자신의 1950년 예측이었다. 유진은 신참이 아니었다. 2001년부터 출전해 왔고 로브너상에서는 다른 시스템들에 뒤졌다. 공동 개발자인 존 데닝조차 얼버무렸다. '우리가 "어떤" 튜링 테스트를 통과한 것 같지만, 그것이 "그" 튜링 테스트인지는 모르겠습니다.'

하루도 안 되어 업계는 반박했다. 스테반 하르나드는 '말도 안 됩니다, 완전히 말도 안 됩니다. 우리는 근처에도 가지 못했습니다'라고 말했다. 마빈 민스키는 '형편없이 설계된 "실험"에서는 아무것도 배울 수 없다'고 했다. 게리 마커스는 유진을 '교묘하게 코딩된 소프트웨어'이자 그 '착시는 덧없다'고 불렀고, 머리 섀너핸은 그 주장이 '완전히 잘못 짚은 것이며 실제 AI 연구의 가치를 떨어뜨린다'고 말했다. 노엘 샤키는 그 속임수의 정체를 짚었다. '13세 우크라이나 소년인 척하는 매우 영리한 계략으로, 대화를 제약하게 만드는 것이죠.'

인격 설정이 곧 전략이었다. 반려동물을 키우는 비원어민 아동이라는 설정은 모든 앞뒤 안 맞는 말을 변명해 준다. 낙타의 다리가 몇 개냐고 추궁하자 유진은 '2에서 4 사이쯤. 어쩌면 셋?'이라고 답했다 — 어린아이답게 들리는, 고장 난 것이 아닌 답으로 읽힌 답변이었다. 이 쇼의 진짜 비용은 대중의 이해였다. 'AI가 튜링 테스트를 통과했다'는 실제 연구자들이 여전히 반박하는 반복적인 헤드라인이 되었고, 대본대로 짜인 인격과의 5분 대화가 '통과'의 의미로서 튜링의 개방형 대화를 대체했다.

33%는 통과 기준이 아니라 튜링의 예측이었고, 13세 인격이 모든 앞뒤 안 맞는 말을 변명해 주었으므로, 이 쇼는 기계가 아니라 변장을 측정한 것이었다.

튜링의 30%는 예측이지 통과 기준이 아니었다 — 행사는 그것을 기준선으로 취급하고 충족되는 순간 승리를 선언했다.

인격이 일을 해냈다. 기니피그를 키우는 13세 소년이라는 설정은 모든 앞뒤 안 맞는 말을 인간처럼 보이게 하므로, 테스트는 기계가 아니라 변장을 측정했다.

5분간의 제한 없는 대화는 유진이 다른 일곱 시스템에 뒤졌던 25분짜리 로브너상보다 낮은 기준이다.

발표가 검증을 앞질렀다. '세계 최초'는 업계가 개입할 수 있기 전인 같은 날 선언되었고, 그래서 정정은 헤드라인과 맞지 않았다.

튜링의 30%는 예측이지 통과 기준이 아니었다. 모든 앞뒤 안 맞는 말을 변명해 주는 인격은 기계가 아니라 변장을 측정한다.

유진의 승리는 누구도 철회하지 않았고 소수만 인정했다. 그 챗봇은 인격을 유지했고 제작자들은 다음으로 넘어갔으며, 그 사건은 증거를 앞지른 튜링 테스트 주장의 교과서적 사례가 되었다. 진짜 피해는 대중의 언어에 있었다 — '튜링 테스트 통과'는 진짜 AI 이정표가 여전히 싸워야 하는 헤드라인 약칭이 되었다. 대화가 '제한 없이' 이루어졌다는 행사 측의 변호는, 테스트가 튜링의 개방형 수년간의 심문에서 꼬집을 수 없는 십 대와의 5분으로 얼마나 축소되었는지를 오히려 부각시켰을 뿐이다.