Watson om Jeopardy, del 2

Ser den første nat i Fare Det var sjovt at sætte IBM Watson-programmet mod menneskelige deltagere. En fin detalje var backstage-displayet, der viste tre svar, som Watson overvejede for hvert spørgsmål og maskinens tillid til dem. Det er interessant, fordi det giver dig et indblik i den række af ting, den overvejede.

Nogle af kategorierne var åbenlyst softballs for Watson. En kategori, Beatles People, var let, fordi blot matchende sangtekster ville få programmet langt (men ikke hele vejen) til at finde svaret. Spillets regler forbød computeren at gå ud på nettet for at finde svar. Watson er nødt til at stole på sine egne ressourcer, lagret på forhånd. Men i sine 15 petabyte lagerplads har Watson dybest set, mere eller mindre, en kopi af et godt stykke af nettet.

Det havde naturligvis en kopi af Beatles-teksterne, som det søgte efter. Ellers ville den ikke have haft en bøn om disse spørgsmål.

Watson sluttede første runde uafgjort til første, med $5.000; Ken Jennings blev tredje med $2.000. Men for at få en idé om, hvor godt Watson egentlig gjorde det, kan du køre din egen konkurrence derhjemme, mod hvad der er Watsons rigtige konkurrent. Ikke Brad Rutter eller Ken Jennings, men en søgemaskine som Google. Indtast blot ledetråden til Google og se, hvad du får. Ligesom Watson analyserer Google enorme mængder tekst, tæller ord og holder styr på, hvor ofte ord har tendens til at forekomme sammen. Ligesom Watson bruger Google flere tilgange til at analysere tekst og har derefter en slags afstemningsskema for at finde ud af, hvor sikker den er på svaret.

Der er mange forskelle mellem Watson og Google, men hvis du gør det, får du en god fornemmelse af problemet. Meget af tiden vil du få nogle websider, der har svaret et eller andet sted i dem, men at vælge svaret ud af det, der er på siden, annoncer og det hele, er ingen ringe bedrift. At forstå, hvad der udgør et svar, er det centrale problem.

Interessant nok, hvor Watson fejlede, var nogle gange mere lærerigt, end da det lykkedes.

Clue: Det var denne anatomiske mærkværdighed af den amerikanske gymnast George Eyser...

Ken Jennings' svar: Mangler en hånd (forkert)

Watsons svar: ben (forkert)

Korrekt svar: Mangler et ben

Hvad Watson ikke indså, var, at ordet ben i sig selv ikke var et svar på spørgsmålet. Dette er sund fornuft for folk, fordi ben er en anatomisk del, ikke en anatomisk særhed, selvom Watson indså, at ben var involveret på en eller anden måde. Det, der skete her, kunne have været noget mere dybtgående end en simpel fejl. David Ferrucci, Watsons projektleder, tilskrev fiaskoen til sværhedsgraden ved ordet mærkværdighed i spørgsmålet. For at forstå, hvad der kan være mærkeligt, skal du sammenligne det med det, der ikke er mærkeligt - det vil sige, hvad der er sund fornuft. Et problem med Watsons tilgang er, at hvis en sætning optræder i dens database, kan den ikke fortælle, om nogen har lagt den der, bare fordi den er sand, eller fordi nogen følte, at den var så usædvanlig, at den skulle siges.

En computer, der mangler sund fornuft, er desværre ikke en særhed. Måske skulle det være.

Henry Lieberman er en forsker der arbejder med kunstig intelligens på Medielaboratoriet ved MIT.

skjule