Deep Learning Machine slår mennesker i IQ-test

For godt 100 år siden introducerede den tyske psykolog William Stern intelligenskvotienttesten som en måde at evaluere menneskelig intelligens på. Siden da er IQ-test blevet en standardfunktion i det moderne liv og bruges til at bestemme børns egnethed til skoler og voksnes evne til at udføre job.

Disse tests indeholder normalt tre kategorier af spørgsmål: logiske spørgsmål såsom mønstre i sekvenser af billeder, matematiske spørgsmål såsom at finde mønstre i sekvenser af tal og verbale ræsonnement spørgsmål, som er baseret på analogier, klassifikationer, samt synonymer og antonymer.

Det er denne sidste kategori, der har interesseret Huazheng Wang og venner ved University of Science and Technology i Kina og Bin Gao og venner hos Microsoft Research i Beijing. Computere har aldrig været gode til dette. Stil et verbalt ræsonnement spørgsmål til en naturlig sprogbehandlingsmaskine, og dens ydeevne vil være dårlig, meget værre end den gennemsnitlige menneskelige evne.

I dag ændrer det sig takket være Huazheng og venner, der har bygget en dyb læringsmaskine, der overgår den gennemsnitlige menneskelige evne til at besvare verbale ræsonnementspørgsmål for første gang.

I de seneste år har dataloger brugt data mining-teknikker til at analysere enorme korpus af tekster for at finde forbindelserne mellem ord, de indeholder. Dette giver dem især styr på statistikken over ordmønstre, såsom hvor ofte et bestemt ord optræder i nærheden af ​​andre ord. Ud fra dette er det muligt at regne ud, hvordan ord relaterer til hinanden, dog i et enormt parameterrum.

Slutresultatet er, at ord kan opfattes som vektorer i dette højdimensionelle parameterrum. fordelen er, at de så kan behandles matematisk: sammenlignes, adderes, trækkes fra som andre vektorer. Dette fører til vektorrelationer som denne: konge – mand + kvinde = dronning.

Denne tilgang har haft stor succes. Google bruger det til automatisk sprogoversættelse ved at antage, at ordsekvenser på forskellige sprog repræsenteret af lignende vektorer er ligeværdige i betydning. Så de er oversættelser af hinanden.

Men denne tilgang har en velkendt mangel: den antager, at hvert ord har en enkelt betydning repræsenteret af en enkelt vektor. Ikke kun er det ofte ikke tilfældet, verbale test har en tendens til at fokusere på ord med mere end én betydning som en måde at gøre spørgsmål sværere.

Huazheng og venner tackler dette ved at tage hvert ord og lede efter andre ord, der ofte optræder i nærheden i et stort korpus af tekst. De bruger derefter en algoritme til at se, hvordan disse ord er grupperet. Det sidste trin er at slå de forskellige betydninger af et ord op i en ordbog og derefter matche klyngerne til hver betydning.

Dette kan gøres automatisk, fordi ordbogsdefinitionen indeholder eksempelsætninger, hvor ordet bruges på hver sin måde. Så ved at beregne vektorrepræsentationen af ​​disse sætninger og sammenligne dem med vektorrepræsentationen i hver klynge, er det muligt at matche dem.

Det overordnede resultat er en måde at genkende de mange forskellige sanser, som nogle ord kan have.

Huazheng og venner har endnu et trick i ærmet for at gøre det nemmere for en computer at besvare verbale ræsonnementspørgsmål. Dette sker, fordi disse spørgsmål falder i flere kategorier, som kræver lidt forskellige tilgange at løse.

Så deres idé er at starte med at identificere kategorien for hvert spørgsmål, så computeren derefter ved, hvilken svarstrategi den skal anvende. Dette er ligetil, da spørgsmålene i hver kategori har lignende strukturer.

Så spørgsmål, der involverer analogier, er som disse:

Isoterm er til temperatur som isobar er til? (i) atmosfære, (ii) vind, (iii) tryk, (iv) breddegrad, (v) strøm.

og

Identificer to ord (et fra hvert sæt parenteser), der danner en forbindelse (analogi), når de parres med ordene med versaler: KAPITEL (bog, vers, læst), ACT (scene, publikum, skuespil).

Ordklassificeringsspørgsmål er som dette:

hvilken passer ikke ind? (i) rolig, (ii) stille, (iii) afslappet, (iv) rolig, (v) uforstyrret.

Og spørgsmål, der leder efter synonymer og antonymer, er som disse:

Hvilket ord er tættest på IRRATIONAL? (i) uforsonlig, (ii) uopløselig, (iii) usikker, (iv) tabt, (v) meningsløs.

Og

Hvilket ord er det mest modsatte af MUSIKAL? (i) disharmonisk, (ii) højlydt, (iii) lyrisk, (iv) verbal, (v) veltalende.

At finde hver type spørgsmål er relativt ligetil for en maskinlæringsalgoritme, givet nok til eksempler at lære af. Og det er præcis sådan, Huazheng og co gør det.

Efter at have identificeret spørgsmålstypen, udtænker Huazheng og venner derefter en algoritme til at løse hver enkelt ved hjælp af standardvektormetoderne, men også den multi-sense-opgradering, de har udviklet.

De sammenligner denne dybe læringsteknik med andre algoritmiske tilgange til verbale ræsonnementstes og også med menneskers evne til at gøre det. Til dette stillede de spørgsmålene til 200 mennesker samlet via Amazons Mechanical Turk crowdsourcing-facilitet sammen med grundlæggende oplysninger om deres alder og uddannelsesbaggrund.

Og resultaterne er imponerende. Til vores overraskelse er den gennemsnitlige præstation for mennesker lidt lavere end den for vores foreslåede metode, siger de.

Menneskelig præstation på disse tests har en tendens til at korrelere med uddannelsesbaggrund. Så folk med en gymnasial uddannelse har en tendens til at klare sig mindst godt, mens dem med en bachelorgrad klarer sig bedre, og dem med en doktorgrad klarer sig bedst. Vores model kan nå intelligensniveauet mellem personerne med bachelorgraderne og dem med mastergraderne, siger Huazheng og co.

Det er fascinerende arbejde, der afslører potentialet ved deep learning-teknikker. Huazheng og co er klart optimistiske med hensyn til den fremtidige udvikling. Med passende brug af deep learning-teknologierne kunne vi være et yderligere skridt tættere på den sande menneskelige intelligens.

Dyb læringsteknikker fejer i øjeblikket gennem datalogi som en steppebrand, og den revolution, de skaber, er stadig i sin tidlige fase. Der er ingen at sige, hvor denne revolution vil føre os hen, men én ting er sikker: William Stern ville blive forbløffet.

Ref: arxiv.org/abs/1505.07909 : Løsning af verbale forståelsesspørgsmål i IQ-test ved hjælp af vidensdrevet ordindlejring

skjule