Google DeepMind lærer kunstig intelligens-maskiner at læse

En revolution inden for kunstig intelligens fejer i øjeblikket gennem datalogi. Teknikken kaldes deep learning og den påvirker alt fra ansigtsbehandling og stemme til mode og økonomi.

Men et område, der endnu ikke har været til gavn, er naturlig sprogbehandling – evnen til at læse et dokument og derefter besvare spørgsmål om det. Det er delvist fordi deep learning-maskiner først skal lære deres fag fra enorme databaser, der er omhyggeligt annoterede til formålet. Disse findes dog simpelthen ikke i tilstrækkelig størrelse til at være nyttige.

I dag ændrer det sig takket være Karl Moritz Hermanns arbejde hos Google DeepMind i London og et par venner. Disse fyre siger, at den særlige måde, som Daily Mail og CNN skriver online nyhedsartikler på, tillader dem at blive brugt på denne måde. Og den store mængde artikler, der er tilgængelige online, skaber for første gang en database, som computere kan bruge til at lære og derefter svare relateret til. Med andre ord bruger DeepMind Daily Mail og CNN-artikler til at lære computere at læse.

Den dybe læringsrevolution er hovedsageligt opstået på grund af to gennembrud. Den første er relateret til neurale netværk, hvor dataloger har udviklet nye teknikker til at træne netværk med mange lag, en opgave der har været vanskelig på grund af antallet af parametre, der skal finjusteres. De nye teknikker producerer i det væsentlige færdige net, der er klar til at lære.

Men et neuralt netværk er til ringe nytte uden en database at lære af. En sådan database skal omhyggeligt annoteres, så maskinen har en guldstandard at lære af. For eksempel skal træningsdatabasen til ansigtsgenkendelse indeholde billeder, hvor ansigter og deres positioner i rammen er tydeligt identificeret. Og for at billederne skal dække så mange ansigtsarrangementer som muligt, skal databaserne være enorme.

Det er for nylig blevet muligt takket være crowdsourcing-tjenester som Amazons Mechanical Turk. Forskellige teams har lavet denne form for guldstandarddatabase ved at vise folk billeder og bede dem om at tegne afgrænsningskasser rundt om de ansigter, de indeholder.

Men det er meget sværere at oprette en tilsvarende annoteret database for det skrevne ord. Selvfølgelig er det muligt at udtrække sætninger, der indeholder vigtige punkter. Men disse er ikke meget hjælp, fordi enhver maskinalgoritme hurtigt lærer at jage teksten efter den samme sætning, en triviel opgave for en computer.

I stedet skal anmærkningen beskrive indholdet af teksten, men uden at stå i den. For at forstå sammenhængen skal en læringsalgoritme så se ud over den blotte forekomst af ord og sætninger, men også på deres grammatiske forbindelser og årsagssammenhænge.

At oprette sådan en database er lettere sagt end gjort. Dataloger har genereret små versioner i hånden, men disse er for små til at være til stor nytte for et neuralt netværk. Og der lader til at være ringe mulighed for at skabe større i hånden, fordi mennesker generelt er dårlige til at kommentere tekst nøjagtigt, medmindre de er specialiserede redaktører.

Gå ind på Daily Mail-webstedet, MailOnline og CNN online. Disse websteder viser nyhedshistorier med hovedpunkterne i historien vist som punktopstillinger, der er skrevet uafhængigt af teksten. Af central betydning er, at disse opsummeringspunkter er abstrakte og ikke blot kopierer sætninger fra dokumenterne, siger Hermann og co.

Det antyder umiddelbart en måde at skabe en kommenteret database på: tag nyhedsartiklerne som tekster og punktopsummeringer som annotering.

DeepMind-teamet går dog længere. De påpeger, at det stadig er muligt at finde ud af svaret på mange forespørgsler ved hjælp af simple ordsøgningsmetoder.

De giver følgende eksempel på en type problem kendt som en Cloze-forespørgsel, som maskinlæringsalgoritmer ofte bruges til at løse. Her er målet at identificere X i disse modificerede overskrifter fra Daily Mail: a) Den højteknologiske bh, der hjælper dig med at slå bryst X; b) Kunne Saccharin hjælpe med at slå X ?; c) Kan fiskeolier hjælpe med at bekæmpe prostata X?

Hermann og co påpeger, at en simpel type data mining-algoritme kaldet en ngram-søgning nemt kunne finde svaret ved at lede efter ord, der oftest optræder ved siden af ​​alle disse sætninger. Svaret er selvfølgelig ordet kræft.

For at forhindre denne type løsninger anonymiserer Hermann og co datasættet ved at erstatte aktørerne i sætninger med en generisk beskrivelse. Et eksempel på en original tekst fra Daily Mail er dette: BBC-producenten, der angiveligt blev ramt af Jeremy Clarkson, vil ikke rejse anklager mod Top Gear-værten, sagde hans advokat fredag. Clarkson, der var vært for et af de mest sete tv-shows i verden, blev droppet af BBC onsdag efter en intern undersøgelse fra den britiske tv-station viste, at han havde udsat producer Oisin Tymon for et uprovokeret fysisk og verbalt angreb.

En anonymiseret version af denne tekst ville være følgende:
Det ent381 producent angiveligt ramt af ent212 vil ikke rejse tiltale mod ent153 vært, sagde hans advokat fredag. ent212 , der var vært for et af de mest sete tv-shows i verden, blev droppet af ent381 onsdag efter en intern undersøgelse af ent180 tv-station fandt ud af, at han havde udsat producenten ent193 til et uprovokeret fysisk og verbalt angreb.

På denne måde er det muligt at konvertere følgende Cloze-type forespørgsel til at identificere X fra Producer X vil ikke rejse anklager mod Jeremy Clarkson, siger hans advokat til Producer X vil ikke rejse sigtelse mod ent212 , siger hans advokat .

Og det krævede svar ændres fra Oisin Tymon til ent212 .

På den måde er den anonymiserede aktør kun mulig at identificere sig med en form for forståelse af de grammatiske sammenhænge og årsagssammenhænge mellem entiteterne i historien.

Den resulterende database er enorm og består af 110.000 artikler fra CNN og 218.000 artikler fra Daily Mails hjemmeside.

Efter at have oprettet denne slags database for første gang, kan Hermann og co ikke modstå at bruge den til at sætte flere maskinlæringsteknikker igennem deres tempo. De sammenligner traditionelle naturlige sprogbehandlingsteknikker, såsom måling af afstanden mellem kombinationer af ord og mere moderne neurale netværkstilgange.

Resultaterne viser tydeligt, hvor kraftige neurale net er blevet. Hermann og co siger, at de bedste neurale net kan besvare 60 procent af de forespørgsler, der stilles til dem. De foreslår, at disse maskiner kan besvare alle forespørgsler, der er struktureret på en enkel måde og kun kæmper med forespørgsler, der har mere komplekse grammatiske strukturer.

Der er selvfølgelig nogle forbehold. Det mest åbenlyse er, at artikler fra Daily Mail og CNN har en meget specifik underliggende struktur, der adskiller sig fra andre ikke-journalistiske skriveformer. Hvordan denne underliggende struktur påvirker resultaterne, er ikke klart.

Det er heller ikke klart, hvordan disse maskiner kan sammenlignes med menneskelige evner, noget der ville være ligetil at finde ud af ved hjælp af tjenester som Mechanical Turk. Det ville sætte i kontekst DeepMinds påstand, antydet i titlen på dets papir, om, at disse maskiner er ved at lære at forstå, hvad de læser.

Ikke desto mindre er dette interessant arbejde, der sætter scenen for nogle fascinerende udviklinger i den nærmeste fremtid. Maskinlæsning kommer; spørgsmålet er bare hvor hurtigt.

Ref: arxiv.org/abs/1506.03340 : Lære maskiner at læse og forstå

skjule