Nu lærer AI-maskiner at forstå historier

Kunstig intelligens-teknikker tager verden med storm. Sidste år afslørede Googles DeepMind-forskningshold en maskine, der havde lært sig selv at spille arkade-videospil . Tidligere i år demonstrerede et hold kinesiske forskere et ansigtsgenkendelsessystem, der overgår mennesker , og i sidste uge afslørede den kinesiske internetgigant Baidu et enkelt talegenkendelsessystem, der er i stand til at transskribere både engelsk og mandarin-kinesisk .

To faktorer har gjort dette muligt. Den første er en bedre forståelse af mangelagede neurale netværk og hvordan man finjusterer dem til specifikke opgaver. Den anden er oprettelsen af ​​de enorme databaser, der er nødvendige for at træne disse netværk.

Disse databaser er enormt vigtige. Til ansigtsgenkendelse skal et neuralt netværk for eksempel se mange tusinde billeder fra den virkelige verden, hvor ansigter fra alle vinkler, nogle gange okkluderede, er tydeligt mærket. Det kræver mange timers menneskelig annotering, men dette er nu muligt takket være crowdsourcing-teknikker og webtjenester såsom Amazons Mechanical Turk.

Den hurtige fremgang på dette område betyder, at meget af den lavthængende frugt hurtigt bliver ryddet op – ansigtsgenkendelse, genkendelse af objekter, talegenkendelse og så videre. Det er dog meget sværere at oprette databaser til mere komplekse ræsonnementopgaver, såsom at forstå historier.

I dag begynder det at ændre sig takket være arbejdet fra Makarand Tapaswi ved Karlsruhe Institute of Technology i Tyskland og et par venner, som har sammensat en database om film, der skal tjene som en testarena for deep learning-maskiner og deres evner til at ræsonnere om historier.

Den centrale indsigt bag deres projekt er, at evnen til at besvare spørgsmål om en historie eller film er en vigtig indikator for, om den er blevet forstået eller ej. Så målet med forskningen er at lave multiple choice-quizzer om film, der består af et sæt spørgsmål sammen med flere mulige svar, hvoraf kun ét er korrekt.

Deres tilgang er ligetil. Tapaswi og co begynder med at samle plotsynopser fra Wikipedia for omkring 300 film. Disse varierer i detaljer fra kun et enkelt afsnit til over 20 afsnit.

De forbinder dette med selve filmen, som er en betydelig mængde data. En gennemsnitlig film er omkring to timer lang og har over 198K frames og næsten 2.000 billeder, siger de.

Film viser tydeligt information, der kan besvare spørgsmål af typen Hvem gjorde hvad mod hvem? Men de indeholder ikke altid informationen til at besvare spørgsmål om, hvorfor ting sker, hvortil yderligere viden om verden nogle gange er nødvendig.

Så Tapaswi og co indsamler også oplysninger fra yderligere databaser. For eksempel miner de beskrevet videotekst til blinde mennesker, der er designet til at indeholde nok information til at forstå, hvad der foregår uden at se det; og de miner også de originale filmmanuskripter, som ofte er nyttige, selvom instruktører ikke altid følger dem nøjagtigt.

Holdet bad derefter menneskelige annotatorer vælge at læse synopserne for hver film. De skulle derefter formulere et antal spørgsmål om hvert afsnit, de læste, sammen med svaret. I gennemsnit skrev annotatorerne fem spørgsmål pr. afsnit. De skulle også fremhæve et afsnit af teksten, der gav svaret på hvert spørgsmål.

Til sidst bad Tapaswi og co annotatorerne om at læse hvert spørgsmål og svar og komme med fire forkerte svar for at lave en multiple choice-quiz. Den resulterende database indeholder over 7.000 spørgsmål om 300 film.

Spørgsmålene falder i flere kategorier. Her er et par eksempler (gæt filmene, hvis du kan):

Personnavn (hvem)
Hvem er Epps tiltrukket af?
Hvad er kaldenavnet på Jeff Lebowski?

Begrundelse (hvorfor)
Hvorfor ønsker Arwen at blive i Middle Earth?
Hvorfor er Bruce bange for flagermus?

Abstrakt (hvad)
Hvilken kraft indeholder den grønne essens?
Som forklaret under høringen, hvad var den primære årsag til ulykken?

Årsag: handling (hvordan)
Hvordan fordriver Kale tiden, da han første gang begynder sin husarrestdom?
Hvordan besejrer Hal Parallax?

Placering (hvor)
Hvad hedder det fitnesscenter, hvor cd'en er efterladt?
Hvor fører Aragorn fællesskabet?

Handling (hvad)
Hvad gør WALL-E, når han tror, ​​at EVE er lukket ned?
Hvad laver Jane og Kevin et år efter mødet?

Objekt/ting (hvad)
Hvad finder gruppen i troldehulen?
Hvad ødelægger de mænd, der overfalder fyren i hans hjem?

Persontype (hvad)
Hvem er Daniel Cleaver?
Hvad er Rachel Dawess erhverv?

Ja/Nej (er, gør)
Modtager Madeleine penge for sit arbejde for Arthur Case?
Er Faramir Denethors ældste søn?

Kausalitet (hvad sker der)
Hvad gør Mark efter Bridget besøger ham og beder ham om tilgivelse?
Hvad sker der under Mileys date med Travis?

Disse er relativt ligetil for mennesker, der har set en film. Men disse fyre tester databasen på et par enkle maskinbaserede spørgsmåls-svar strategier for at se, hvor godt de klarer sig. Ingen klarer sig særlig godt, men pointen er selvfølgelig at hjælpe med at træne fremtidige generationer af disse maskiner, som formodentlig vil være bedre.

Det er et stort spørgsmål. Et interessant punkt er, at dybe neurale net har brug for store databaser for at hjælpe dem med at lære. Og jo mere kompleks opgaven er, jo større skal databasen være.

Så et vigtigt spørgsmål er, hvor stor en database skal være for at træne en dyb læringsalgoritme til at besvare spørgsmål om film. Det er svært at svare på, selv inden for en størrelsesorden.

Så et væsentligt mål vil være at finde ud af, om denne database er nogenlunde stor nok til at hjælpe med at begrænse moderne AI-maskiner, når de lærer at udføre denne opgave. Det er noget, Tapaswi og co snart vil finde ud af.

I mellemtiden gør de databasen tilgængelig online i det nye år på: http://movieqa.cs.toronto.edu/home/ . Hvis AI-forskningen ikke lykkes, burde den i det mindste være nyttig til pub-quizzer.

Ref: http://arxiv.org/abs/1512.02902 : MovieQA: Forstå historier i film gennem spørgsmål-svar

skjule