De schwalbe van Eugene

Ken je Eugene Goostman? Goede kans dat je nog nooit van hem gehoord hebt, maar toch is hij een kleine beroemdheid. Nou ja, voor even dan. In bepaalde kringen. En dan ook nog eens onterecht.

Wie is deze beste knul? Eugene is een 13-jarige jongen uit Odessa in de Oekraïne. Hij is een tiener als alle andere. Zijn vader heeft een goede baan (als gynaecoloog), en hij heeft een cavia als huisdier. Er is alleen één dingetje. Eugene bestaat niet.

Eugene Goostman is de naam die zijn ontwikkelaars hebben gegeven aan een chatbot – een computerprogramma dat net doet alsof het een mens is en zo een gesprek met je voert. Of: probeert te voeren. Denk aan Anna, de virtuele assistente op de IKEA-website; of Billie, het hulp-mannetje van bol.com. Je zult misschien al uit ervaring weten dat “praten” met zo’n chatbot een allesbehalve vanzelfsprekende ervaring is.

Billie is de weg kwijt
Billie is de weg kwijt

Eugene Goostman geeft Anna en Billie vanaf vorige maand het nakijken, want hij is het eerste softwareprogramma dat geslaagd is voor de Turingtest. Nou ja… zijn makers zeggen dat hij geslaagd is voor die test, maar daar valt wat op af te dingen. Allereerst: wat is de Turingtest? (Taaleidoscoop heeft hier al eens eerder naar gekeken.) Deze test is vernoemd naar Alan Turing (1912-1954), een Britse wiskundige en computerpionier. Hij stelde in 1950 de vraag: zou een machine ooit leren denken? En: hoe toets je dat dan? Zijn idee was om te kijken een imitatiespel: als een mens via een beeldscherm een “tekstgesprek” voert met een ander, en als hij aan de gegeven antwoorden niet kan afzien of het om een mens of een computer gaat – dan zeggen we dat de computer “denkt”.

Eugene Goostman (zogenaamd 13 jaar) en Alan Turing op 16-jarige leeftijd
Eugene Goostman (zogenaamd 13 jaar) en Alan Turing op 16-jarige leeftijd

Nu is dit nog wat wazig. Want hoe lang mag zo’n gesprek duren? Waarover gaat het? In welke taal? Met hoeveel sprekers? En zo kun je nog wel wat kanttekeningen plaatsen. In de loop der jaren zijn er verschillende versies van de Turingtest ontwikkeld, meestal met dramatisch slechte resultaten voor de computer. Maar bij een recente test aan de universiteit van Reading was er zowaar een programma dat de toets goed doorstond. Je raadt het al: onze vriend Eugene.

Maar deze versie van de Turingtest had de lat wel heel laag gelegd. Turing had ooit de verwachting uitgesproken dat in het jaar 2000 een programma 30% van de menselijke gesprekspartners om de tuin zou kunnen leiden. En die 30% was dan ook de drempel die Eugene Goostman (nét) haalde – na een serie gesprekjes van slechts 5 minuten elk.

Zijn ontwerpers kraaiden victorie, daarbij voorbijgaand aan het feit (1) dat die 30% nooit als criterium voor de test was bedoeld, en (2) dat dus een kleine twee derde van de juryleden hun chatbot probleemloos kon ontmaskeren. Tel daarbij op dat de makers ook een beetje vals speelden: als jouw programma een verwaande Oekraïense tiener nabootst die in een voor hem vreemde taal (Engels) communiceert, zijn een paar denk- en taalfouten hier en daar al snel vergeven.

De Taaleidoscoop zegt dus: schwalbe! De manier waarop Eugene deze wedstrijd won is niet fair. Dit computerprogramma, waar al 13 jaar aan gesleuteld wordt door een internationaal team van softwaremakers, kan echt niet claimen de Turingtest doorstaan te hebben. Zowel de programmeurs als de organisatoren (die immers de softe criteria vastlegden) past de nodige bescheidenheid. Hoe moet het wel? Toon mij een chatbot die een native speaker nabootst en die in een lang gesprek 9 van de 10 juryleden overtuigt, en dan hebben we het er nog eens over.

Volgende week filosoferen we verder over of en hoe je dat zou kunnen bereiken.

Wil je intussen zelf eens chatten met Eugene? Dat kan op deze website. (Beproef je geluk: op het moment van plaatsen van dit verhaal was de site uit de lucht, waarschijnlijk vanwege de grote belangstelling.) En kijk hier voor een verslag van een onbevredigend gesprek met Eugene – met feedback van een van de ontwikkelaars.

Wat vind jij?