AI-maskine forsøger at forstå tegneserier … og mislykkes

Listen over aktiviteter, hvor kunstig intelligens maskiner har overstået mennesker, vokser med en alarmerende hastighed. Ansigtsgenkendelse, objektgenkendelse, skak, Go, forskellige videospil og adskillige andre opgaver er alle faldet i denne kamp.

Så det er naturligt at spørge ind til de typer opgaver, som maskiner stadig har svært ved. Hvor hersker stadig mennesker?

I dag får vi et slags svar takket være Mohit Iyyers arbejde ved University of Maryland i College Park og et par venner. Disse fyre spørger, hvor godt kunstig intelligens kan forstå tegneserier og næsten ikke kan modstå at slå luften i vejret for at afsløre, at maskinerne kommer på en andenplads i forhold til mennesker.

Tegneserier fortæller historier ved hjælp af en sekvens af paneler bestående af håndtegnede og ofte meget stiliserede billeder, der er meget forskellige i karakter fra fotografier. Disse paneler er også kommenteret med tekst i form af tankebobler, taleballoner og fortællende bokse.

Tekst og billeder arbejder tæt sammen; ofte så tæt, at historien ikke kan følges alene ved hjælp af billeder eller tekst. Selv da skal læseren foretage væsentlige slutninger og ekstrapoleringer, når han hopper fra panel til panel. Mange detaljer skal udfyldes af læseren.

Det er, hvad skaberen skjuler fra deres sider, der gør tegneserier virkelig interessante, de uudtalte samtaler og usete handlinger, der lurer i mellemrummene (eller tagrenderne) mellem tilstødende paneler, siger Iyyer og co. Det er ved at dechifrere disse detaljer, at historien er smedet i læsernes fantasi.

Denne komplekse proces med at se et individuelt panel og forstå, hvordan det forbindes med tidligere, kaldes lukning. Og for øjeblikket er det en enestående menneskelig evne.

Det er derfor, Iyyer og co udtænkte et eksperiment for at teste, hvor godt maskiner også kan udføre det.

Disse fyre begynder med at oprette en stor database med tegneseriehistorier, som de kan bruge til at træne deep learning-maskiner. De skaber dette ved hjælp af tegneserier udgivet mellem 1930'erne og 1950'erne. Dette var tegneseriernes såkaldte guldalder, som sluttede i slutningen af ​​1950'erne, da strenge censurregler blev indført i USA. Ophavsretten er siden udløbet på disse udgivelser, og de er offentligt tilgængelige på en hjemmeside kaldet Digital Comics Museum i i form af brugeruploadede jpeg-filer.

Iyyer og co brugte 4.000 af de højest vurderede tegneserier på webstedet og skabte en database med over 1,2 millioner paneler. De bruger optisk tegngenkendelse til at digitalisere teksten på hvert panel.

For at teste lukningen udtænker Iyyer og co et sæt eksperimenter, hvor en maskine får vist en sekvens af paneler og derefter skal forudsige, hvad der kommer næste fra et sæt mulige svar. Opgaven kan være at forudsige det næste billede eller det næste stykke tekst eller at matche teksten til en bestemt karakter.

Først skal maskinen lære, hvordan tegneserier fungerer. Så holdet fodrede en del af panelerne og teksterne til forskellige maskinlæringsalgoritmer, så de kunne lære, hvordan paneler følger efter hinanden. Disse maskiner er fortrænede til at genkende objekter, men i naturlige billeder i stedet for tegnefilm.

Efter at have trænet maskinerne tester holdet dem derefter på et sæt paneler, de ikke har set, og beder dem om at forudsige det næste billede eller stykke tekst i serien.

Resultaterne er øjenbrynsløftende. Mens mennesker kan forudsige det næste stykke tekst eller det næste billede korrekt mere end 80 procent af tiden, kommer maskinerne aldrig i nærheden af ​​dette niveau af nøjagtighed. Ingen af ​​arkitekturerne udkonkurrerer menneskelige basislinjer, hvilket taler om vanskeligheden ved at forstå tegneserier, siger Iyyer og co. Billedtræk opnået fra modeller trænet på naturlige billeder kan ikke fange den store variation i kunstneriske stilarter, og tekstmodeller kæmper med rigdommen og tvetydigheden i dagligdags dialog, der er stærkt afhængig af visuelle kontekster.

Det er ikke overraskende i betragtning af den sunde fornuft, der er nødvendig for at følge disse historier, og den kulturelle viden, der kræves for at forstå logikken i historiefortælling i tegneserier.

Så mennesker er stadig mestre over denne opgave, i hvert fald for øjeblikket.

Men maskinerne vil helt sikkert blive bedre, efterhånden som de lærer de sociale og slutningsevner, som vi tror gør os til mennesker.

Og det giver en interessant mulighed. AI-maskiner har slået mennesker i skak, Fare! , Go og mange andre opgaver. Måske skulle deres næste udfordring være at forstå tegneserier bedre end mennesker, og måske endda skabe fortællinger på denne måde. Det ville sætte Google DeepMind eller nogen af ​​dets konkurrenter op imod karaktererne i Marvel eller DC Comics. Den perfekte kamp og bestemt en, der ville være sjov.

Ref: arxiv.org/abs/1611.05118 : The Amazing Mysteries of the Gutter: Drawing Inferences Between Panels in Comic Book Narratives

skjule