IQ-testresultat: Avanceret AI-maskine matcher fire-årigt barns score

De hurtige fremskridt inden for informationsbehandlingsteknologi i de senere år har skabt computerenheder med formidable kræfter. Disse maskiner har længe været bedre end mennesker til aritmetik, visse spil som skak og for nylig til avancerede mønstergenkendelsesopgaver som ansigtsgenkendelse.

Men et udestående spørgsmål er: i hvor høj grad svarer disse kapaciteter til, hvad der svarer til menneskelig intelligens? I dag får vi en slags svar takket være Stellan Ohlssons arbejde ved University of Illinois og et par venner, der har sat en af ​​verdens mest kraftfulde kunstige intelligens-maskiner igennem dens tempo ved hjælp af en standard IQ-test givet til mennesker.

Resultaterne viser, at selvom computere er blevet langt mere kraftfulde i de senere år, har de noget at indhente for at matche menneskelige præstationsniveauer.

Først lidt baggrund. Videnskaben om at måle menneskelige færdigheder og ydeevne er kendt som psykometri. Når det kommer til menneskelig intelligens, er den mest almindeligt accepterede psykometriske test intelligenskvotienten eller IQ-testen.

Denne består af to dele. Det første er et sæt spørgsmål designet til at teste forskellige aspekter af menneskelig præstation. Den anden er en database med testresultater, som fremtidige resultater kan sammenlignes med. Sådan vurderes mennesker; som over eller under gennemsnittet i forhold til f.eks. databasen.

IQ-tests er også designet til at teste mennesker på forskellige stadier af deres liv. Så en test designet til voksne vil næppe give meget indsigt i præstationer for 10-årige eller 4-årige. Så processen med at designe test og oprette testresultatdatabasen skal udføres for hver af disse grupper.

Gennem årene har dataloger skabt en række AI-maskiner, der har forsøgt at opnå en rationel forståelse af verden omkring dem. En af de mest berømte, kaldet ConceptNet, har været under udvikling på MIT siden 1990'erne.

For at måle dens intelligens brugte Ohlsson og co en verbal IQ-test designet til børn til at teste ConceptNet 4 (ConceptNet 5 er siden blevet frigivet).

Denne test, kendt som Wechsler Preschool and Primary Scale of Intelligence, måler børns præstationer i fem kategorier: information, ordforråd, ordræsonnement, forståelse og ligheder.

Informationskategorien indeholder spørgsmål som: Hvor kan man finde en pingvin?

Ordforrådskategorien indeholder spørgsmål som: Hvad er ___? som i Hvad er et hus?

I ordræsonnement skal et barn identificere noget ud fra tre ledetråde, såsom: Du kan se igennem det, det er firkantet, og du kan åbne det.

Lighedsspørgsmålene er af formen: Afslut, hvad jeg siger. X og Y er begge ___ som i Afslut hvad jeg siger. Pen og blyant er begge ___. Dette kræver, at barnet forstår to begreber og finder overlapningen mellem dem.

Og endelig er forståelsesspørgsmålene af formen: Hvorfor giver folk hånd? Dette kræver opbygning af en forklaring og går derfor videre end blot informationssøgning.

Ohlsson og co administrerede denne test ved at sende spørgsmålene til AI-maskinen i en modificeret form. Dette krævede noget programmering for at tillade spørgsmålene at interface med computerens struktur af viden om verden.

Og resultaterne giver interessant læsning. ConceptNet klarer sig godt på ordforråd og ligheder, midt på information og dårligt på ordræsonnement og -forståelse, siger Ohlsson og co.

Især de svar, den gav, var enormt følsomme over for den måde, den fortolkede spørgsmålet på. For eksempel blev maskinen i forståelseskategorien spurgt Hvorfor giver vi hånd?

For ConceptNet 4 bunder det i en søgning relateret til tre begreber, to et-ordsbegreber om ryst og hånd og et to-ords begreb om håndtryk. Hvis den bruger alle disse begreber til at søge efter et svar, frembringer den epileptisk anfald.

Men at tvinge maskinen til kun at overveje enkelte koncepter giver de meget mere tilfredsstillende svar tak, flirt og mød en ven.

Men det virker ikke altid. For eksempel blev maskinen i informationskategorien spurgt, hvor kan man finde en lærer?

Maskinen opdeler dette i en anmodning om tre forskellige begreber: find og lærer og toordsbegrebet find lærer. Ved at bruge alle disse giver det svaret korrekt som Men hvis Ohlsson og co tvinger det til kun at overveje to-ordsbegrebet find lærer, giver det de gådefulde svar band eller klaver.

Præcis hvorfor det har problemer med denne form for ræsonnement under visse omstændigheder er ikke klart.

Desuden er mange af de forkerte svar helt ulig dem, børn ville give. For eksempel fik ConceptNet 4 i kategorien ordet ræsonnement følgende ledetråde: Dette dyr har en manke, hvis det er han, dette er et dyr, der lever i Afrika, og det er en stor gulbrun kat.

Men dens top fem svar var: hund, gård, væsen, hjem og kat.

Det er bizart. Sund fornuft bør i det mindste begrænse svaret til dyr, og bør også gøre den simple slutning, at hvis sporene siger, at det er en kat, så er kattetyper de eneste alternativer, der skal overvejes, siger Ohlsson og co.

Alt dette pegede Ohlsson og co på en klar konklusion. ConceptNet-systemet scorede en WPPSI-III VIQ, der er gennemsnitlig for et fire-årigt barn, men under gennemsnittet for fem- til syv-årige, siger de.

Det er et interessant resultat. Selvfølgelig er der forskellige måder, hvorpå testen kan forbedres. Den ene er at give computeren naturlige sprogbehandlingsmuligheder. Det ville reducere dens afhængighed af den nødvendige programmering for at indtaste spørgsmålene og er noget, der allerede er ved at blive muligt med onlineassistenter som Siri, Cortana og Google Now.

Den måske vigtigste pointe er, at dette arbejde blev udført på en version af ConceptNet 4, der går tilbage til 2012. Kunstig intelligens har ændret sig hurtigt siden da. Hovedændringen har været et skift fra videnindsamling til at være læringsdrevet. Disse systemer knuser nu enorme databaser af information for at få indsigt i sprog, billeder og andre aspekter af verden. Dette har ført til en eksponentiel forbedring af ydeevnen i mange opgaver, såsom ansigtsgenkendelse.

Tager man Ohlsson og cos resultat for pålydende, har det taget 60 års forskning i kunstig intelligens at bygge en maskine i 2012, der kan komme tæt på at matche en fireårigs sunde fornuft. Men karakteren af ​​eksponentielle forbedringer rejser udsigten til, at de næste seks år kan producere tilsvarende dramatiske forbedringer.

Så et spørgsmål, som vi bør overveje med hast, er: hvilken slags kunstig intelligens-maskine kan vi kæmpe med i 2018?

Ref: arxiv.org/abs/1509.03390 : Måling af et kunstigt intelligenssystems ydeevne på en verbal IQ-test for små børn

skjule