Eugene Goostman „besteht“ den Turing-Test – für fünf Minuten

Am 7. Juni 2014 führten dreißig Juroren in der Royal Society in London fünfminütige Tastaturgespräche mit einer Handvoll Programmen. Eines davon, Eugene Goostman – ein Chatbot mit der Persona eines 13-jährigen Jungen aus Odesa, der ein Meerschweinchen besitzt –, wurde von zehn der Juroren für einen Menschen gehalten, 33 %. Kevin Warwick von der University of Reading, der die Veranstaltung organisierte, erklärte, Alan Turings Test sei zum ersten Mal bestanden worden.

Die Presse machte daraus eine „Weltneuheit“: Die BBC titelte „Computer AI passes Turing test“. Die 30-%-Zahl war jedoch keine Schwelle – sie war Turings eigene Vorhersage von 1950, dass Maschinen bis 2000 ein Drittel der Juroren täuschen würden. Eugene war kein Neuling: Er trat seit 2001 an und landete beim Loebner Prize hinter anderen Systemen. Selbst sein eigener Mitarbeiter John Denning schränkte ein: „Ich denke, wir haben ‚einen‘ Turing-Test bestanden, aber ich weiß nicht, ob es ‚der‘ Turing-Test ist.“

Innerhalb eines Tages reagierte die Fachwelt ablehnend. „Es ist Unsinn, völliger Unsinn. Wir sind nicht einmal annähernd so weit“, sagte Stevan Harnad. Marvin Minsky: „Aus schlecht konzipierten ‚Experimenten‘ wird nichts gelernt.“ Gary Marcus nannte Eugene „ein clever programmiertes Stück Software“, dessen „Illusion flüchtig ist“; Murray Shanahan sagte, die Behauptung sei „völlig fehl am Platz, entwertet echte KI-Forschung“. Noel Sharkey benannte den Trick: „ein sehr cleverer Kniff, vorzugeben, ein 13-jähriger ukrainischer Junge zu sein, was das Gespräch einschränken würde.“

Die Persona war die Strategie: Ein nicht muttersprachliches Kind mit einem Haustier entschuldigt jeden Non sequitur. Auf die Frage, wie viele Beine ein Kamel hat, antwortete Eugene: „Etwas zwischen 2 und 4. Vielleicht drei?“ – eine Antwort, die als kindlich, nicht als defekt gelesen wurde. Der eigentliche Preis des Stunts war das öffentliche Verständnis: „KI hat den Turing-Test bestanden“ wurde zu einer wiederkehrenden Schlagzeile, gegen die echte Forscher noch immer argumentieren, und fünfminütige Gespräche mit einer geskripteten Persona ersetzten Turings offenes Gespräch als das, was „Bestehen“ für die Öffentlichkeit bedeutet.

Die 33 % waren Turings Vorhersage, keine Bestehensgrenze, und die Persona des 13-Jährigen entschuldigte jeden Non sequitur, sodass der Stunt die Verkleidung maß, nicht die Maschine.

Turings 30 % waren eine Vorhersage, keine Bestehensgrenze – die Veranstaltung behandelte sie als Schwelle und erklärte den Sieg in dem Moment, in dem sie erreicht war.

Die Persona leistete die Arbeit: Ein 13-Jähriger mit einem Meerschweinchen lässt jeden Non sequitur menschlich wirken, sodass der Test die Verkleidung maß, nicht die Maschine.

Fünf Minuten uneingeschränkter Chat sind eine niedrigere Hürde als der 25-minütige Loebner Prize, bei dem Eugene hinter sieben anderen Systemen rangiert hatte.

Die Ankündigung überholte die Prüfung: „Weltneuheit“ wurde noch am selben Tag verkündet, bevor die Fachwelt Stellung nehmen konnte, sodass die Korrektur nie zur Schlagzeile passte.

Turings 30 % waren eine Vorhersage, keine Bestehensgrenze; eine Persona, die jeden Non sequitur entschuldigt, misst die Verkleidung, nicht die Maschine.

Eugenes Sieg wurde von niemandem widerrufen und von wenigen akzeptiert: Der Chatbot behielt seine Persona, und seine Schöpfer machten weiter, während die Episode zum Lehrbuchfall einer Turing-Test-Behauptung wurde, die ihrer Evidenz davonlief. Der eigentliche Schaden betraf die öffentliche Sprache – „den Turing-Test bestehen“ wurde zu einer Schlagzeilen-Kurzformel, gegen die echte KI-Meilensteine noch immer ankämpfen müssen. Die eigene Verteidigung der Veranstaltung, die Gespräche seien „uneingeschränkt“ gewesen, hob nur hervor, wie weit der Test von Turings offener, jahrelanger Befragung auf fünf Minuten mit einem Teenager geschrumpft war, der sich nicht festnageln lässt.