Algoritme kloner Van Goghs kunstneriske stil og indsætter den på andre billeder, film

Arten af ​​kunstnerisk stil er noget af et mysterium for de fleste mennesker. Tænk på Vincent Van Goghs Stjerneklar nat , Picassos værk om kubisme, eller Edvard Munchs Skriget . Alle har en kraftfuld, unik stil, som mennesker let genkender.

Men hvad med maskiner? Dybe neurale netværk revolutionerer den måde, maskiner genkender og fortolker verden på. Maskinsyn overgår nu rutinemæssigt mennesker til opgaver som genkendelse af objekter og ansigter, noget der var utænkeligt for blot få år siden.

For nylig har disse enheder taget de første foreløbige skridt i retning af at genkende kunstnerisk stil og endda gengive den. Hvor langt denne form for arbejde kan gå, har ikke været klart. Er det for eksempel muligt at kopiere og indsætte en kunstnerisk stil fra ét billede til en hel video uden at producere artefakter, der ødelægger den visuelle oplevelse?

I dag viser Manuel Ruder og venner ved universitetet i Freiburg i Tyskland, at netop dette er muligt. Disse fyre tager berømte kunstværker som f.eks Stjerneklar nat og Skriget og overføre deres stil til en række videosekvenser taget fra film som f.eks Istid og tv-programmer som Miss Marple. Resultatet er en imponerende gengivelse af videoer og muligheden for at gøre det i næsten enhver tænkelig stil.

Dybe neurale netværk består af mange lag, som hver især uddrager information fra et billede og derefter videregiver de resterende data til det næste lag. De første lag udtrækker brede mønstre såsom farve, og de dybere lag udtrækker gradvist flere detaljer, hvilket tillader genkendelse af objekter.

Informationen udtrukket af de dybere lag er vigtig. Det er i bund og grund indholdet af et billede minus den kontekstuelle information såsom farve, tekstur og så videre. På en måde er det computerens ækvivalent til en stregtegning.

Sidste år begyndte Leon Gatys ved universitetet i Tübingen og nogle få venner at studere kunstnerisk stil på denne måde. De opdagede, at det er muligt at fange kunstnerisk stil ved ikke at se på informationen i hvert lag, men på sammenhængene mellem lag. Så måden en kunstner reproducerer et ansigt på, er korreleret med den måde, han eller hun reproducerer et træ eller et hus eller solen. At fange denne sammenhæng fanger også stilen.

Men deres vigtigste opdagelse var, at indholdet af et billede kan adskilles fuldstændigt fra den kunstneriske stil. Desuden fandt de ud af, at de kunne tage denne kunstneriske stil og kopiere og indsætte den på indholdet af ethvert andet billede.

Lige pludselig bliver det muligt at fange den abstrakte stil af en Kandinsky og indsætte den på et billede af din kat. Det er meget sjovt. Men det rejste også spørgsmålet om, hvor meget længere denne teknik kan tages.

Det åbenlyse næste skridt er at indsætte den kunstneriske stil på efterfølgende billeder for at lave en video. Men det giver umiddelbart problemer. Små forskelle mellem på hinanden følgende rammer kan føre til store forskelle i den måde, den nye kunstneriske stil anvendes på. Og det får videoen til at fremstå hoppende og visuelt usammenhængende. Et særligt problem er kanterne på objekter, når de bevæger sig eller bliver tilstoppet.

Nu har Ruder og co løst dette problem. Med et kunstnerisk billede overfører vi dens særlige malestil til hele videoen, siger de.

Deres tilgang er at bruge en algoritme, der analyserer afvigelser mellem successive behandlede billeder og forhindrer store forskelle, men at gøre dette, mens man ignorerer områder af en scene, der kommer til syne efter at være blevet okkluderet. Dette gør det muligt for processen at genopbygge disockluderede områder og forvrængede bevægelsesgrænser, samtidig med at udseendet af resten af ​​billedet bevares, siger de.

Resultaterne er imponerende. Holdet bruger sin algoritme til at udtrække den kunstneriske stil af en række forskellige kunstværker af Kandinsky, Picasso, Matisse, Turner og selvfølgelig Munch og Van Gogh.

De behandlede hver still i sekvenserne med en opløsning på 1024 x 436 på en Nvidia Titan X GPU med en parallel behandling på en CPU på samme tid. Denne proces tager omkring otte minutter pr. billede til at starte med. Men efter optimering falder dette til et gennemsnit på omkring tre minutter pr. billede. Så hele processen er beregningsintensiv.

Den bedste måde at værdsætte resultatet på er at se videoen , en imponerende samling af sekvenser fra en lang række film, computeranimationer og tv-programmer.

Selvfølgelig er der stadig forbedringer, der kan gøres. Algoritmen kæmper med meget hurtige eller store bevægelser mellem frames, og det skulle være muligt at optimere processen yderligere for at reducere beregningstiden. Men ingen af ​​disse problemer ligner showstoppere.

Arbejdet rejser et interessant spørgsmål om, hvor meget længere denne teknik kan tages. For eksempel er det nemt at forestille sig apps, der kunne gøre dette i skyen, mens du filmer på din smartphone. Men ville det også være muligt at indsætte stilen af Skriget ind i tre dimensioner og derudover til en virtuel virkelighed? Det er svært at komme med grunde til hvorfor ikke.

Alt dette varsler en helt ny tilgang til filmskabelse, men også til kunst. Når kunstnerisk stil bliver en vare, der kan klippes og indsættes fra et billede til et andet, hvad betyder det så for kunstnernes arbejde? Det er ikke svært at forestille sig, hvordan disse stilarter kunne redigeres eller endda kombineres for at producere hybrider.

Er der nogen, der har lyst til en Rubens-Picasso, en Warhol-Monet eller en Burton-Bergman?

Ref: arxiv.org/abs/1604.08610 : Overførsel af kunstnerisk stil til videoer

skjule