Algoritmer kan gøre enhver scene til en tegneserie

Tegneserier har form af en række stillbilleder, der tilsammen fortæller en historie. Billederne er ofte meget stiliserede og grafikerne beundret for deres dygtighed.

Men denne form for kunst er svær at lære og svær at perfektionere, hvilket gør det tidskrævende og dyrt at producere. Så kunstnere, udgivere og læsere ville elske en automatiseret måde at få et billede til at efterligne en ønsket tegneseriestil.

Det viser sig, at denne form for algoritme allerede eksisterer. Tilbage i 2015 opdagede en gruppe forskere i Tyskland en måde at overføre et billedes kunstneriske stil til et andet. Siden da har andre støt forbedret denne tilgang for at gøre den hurtigere og mere præcis.

Fra venstre mod højre: det originale grafiske billede, målbilledet og det resulterende stiliserede billede

Værket har dog hidtil fokuseret på at overføre stilen fra fine kunstnere som Picasso og Van Gogh til andre billeder, eller at ændre almindelige billeder på måder som at gøre nat til dag. Hvor godt fungerer disse algoritmer med de ofte mere stiliserede billeder produceret af tegneseriekunstnere?

I dag får vi et svar takket være Maciej Pęśko og Tomasz Trzcińskis arbejde ved Warszawas teknologiske universitet i Polen. Disse fyre har anvendt forskellige typer billedstiloverførsel til tegneseriegrafik og sammenlignet resultaterne.

Først lidt baggrund. Denne tilgang begyndte med Leon Gatys' arbejde ved universitetet i Tübingen og nogle få venner, som studerede den måde, dybe neurale netværk registrerede og analyserede kunstnerisk stil. Disse netværk består af lag, der hver især analyserer et billede på et andet niveau - detaljer såsom former, farver og linjer.

Nøgleindsigten bag Gatys og co's arbejde er, at kunstnerisk stil ikke er fanget i selve lagene, men i sammenhængene mellem dem. Det gør det umiddelbart muligt at adskille en kunstners stil fra kunstens indhold og endda at overføre den fra et billede til et andet.

Og det er præcis, hvad Gatys og co gjorde, til udbredt forundring fra computervisionssamfundet. Dette arbejde er blevet grundlaget for en ny underdisciplin af computersyn kendt som neural stiloverførsel.

Et problem med den nye tilgang er, at den er beregningsintensiv. Det tager lang tid – adskillige sekunder for 512x512 billeder på moderne stationære computere – at analysere et billede, fjerne dets stil og anvende den stil på en anden scene.

Så dataloger begyndte at søge efter forskellige tilgange, der kunne klare opgaven hurtigere. Og de fandt faktisk på forskellige algoritmer, der udfører et lignende job. Der er dog en afvejning mellem hastighed og kvalitet.

Indtast Pęśko og Trzciński. Disse fyre har testet en bred vifte af algoritmer til overførsel af neurale stilarter på den specifikke opgave at overføre de grafiske stilarter forbundet med tegneserier. Dette er det første forsøg på at evaluere og sammenligne resultaterne opnået med flere metoder i forbindelse med overførsel af tegneseriestil, siger de.

De fokuserer specifikt på de hurtigste teknikker, der har potentialet til at arbejde på ethvert grafisk billede. Vi fokuserer mest på metoder, hvis eksekveringstid pr. billede ikke overstiger 2 sekunder, siger de.

På denne måde testede de fem forskellige algoritmer på 600x450-pixel billeder behandlet ved hjælp af en 12-gigabyte Titan X-grafikbehandlingsenhed. De valgte billeder, der repræsenterer forskellige tegneseriestile, og overførte disse til billeder valgt tilfældigt fra en Google-billedsøgning.

Til sidst viste de resultaterne til 100 personer for at evaluere, hvor godt algoritmerne opnåede stiloverførslen.

Resultaterne viser state of the art på dette område. Den algoritme, der vurderes bedst, er en teknik kendt som adaptiv instansnormalisering, udviklet i 2017, med omkring 30 procent af stemmerne for den. Det bekræfter vores antagelser om, at denne metode giver resultater, der er tættest på tegneserier eller tegneserier med hensyn til stilistisk lighed, siger Pęśko og Trzciński.

Resultaterne er dog på ingen måde perfekte. Alle teknikkerne lider til en vis grad af problemer såsom uhensigtsmæssig farveoverførsel og sløring. Vi mener, at der stadig er plads til forbedringer, siger forskerne.

Det repræsenterer en mulighed. Alene tegneseriemarkedet i USA er 1 milliard dollar værd om året. Og der er mange dele af verden, der endnu ikke har udviklet deres egne kulturer omkring tegneserier, såsom Indien. Så der er markeder, der har potentiale til at vokse.

Evnen til at skabe tegneseriebilleder af høj kvalitet vil gøre en væsentlig forskel for alle, der ønsker at erobre disse markeder.

Der er dog et andet problem: udfordringen med at udvikle stærke karakterer og overbevisende historier. Neurale netværk kan ikke hjælpe med det … i hvert fald ikke endnu.

Ref: arxiv.org/abs/1809.01726 : Neural Comic Style Transfer: Case Study

skjule