Maskinsynsalgoritmen slår kunsthistorikere i deres eget spil

Få områder af akademisk undersøgelse er undsluppet indflydelsen fra datalogi og maskinlæring. Men en af ​​dem er kunsthistorien. Udfordringen med at analysere malerier, genkende deres kunstnere og identificere deres stil og indhold har altid været uden for selv de mest avancerede algoritmer.

Det er nu ved at ændre sig takket være de seneste fremskridt inden for maskinlæring baseret på tilgange såsom dybe konvolutionelle neurale netværk. På få år har dataloger skabt maskiner, der er i stand til at matche og nogle gange overgå mennesker i alle slags mønstergenkendelsesopgaver.

I dag ser vi, hvor avancerede disse tilgange er blevet i hænderne på Babak Saleh og Ahmed Elgammal ved Rutgers University i New Jersey. Disse fyre har brugt disse nye maskinlæringsteknikker til at træne algoritmer til at genkende kunstneren og stilen på et kunstmaleri med en nøjagtighed, som aldrig er blevet opnået før.

Hvad mere er, resultaterne afslører forbindelser mellem kunstnere og mellem hele malestile, som kunsthistorikere har arbejdet i årevis for at forstå.

Saleh og Elgammal begynder med en database med billeder af mere end 80.000 malerier af mere end 1.000 kunstnere, der spænder over 15 århundreder. Disse malerier dækker 27 forskellige stilarter, hver med mere end 1.500 eksempler. Forskerne klassificerer også værkerne efter genre, såsom interiør, bybillede, landskab og så videre.

De tager derefter en delmængde af billederne og bruger dem til at træne forskellige slags state-of-the-art maskinlæringsalgoritmer til at udvælge bestemte funktioner. Disse omfatter generelle funktioner på lavt niveau, såsom den overordnede farve, såvel som mere avancerede funktioner, der beskriver objekterne på billedet, såsom en hest og et kors. Slutresultatet er en vektorlignende beskrivelse af hvert maleri, der indeholder 400 forskellige dimensioner.

Forskerne tester derefter algoritmen på et sæt malerier, den endnu ikke har set. Og resultaterne er imponerende. Deres nye tilgang kan nøjagtigt identificere kunstneren i over 60 procent af de malerier, den ser, og identificere stilen i 45 procent af dem.

Men det er afgørende, at maskinlæringstilgangen giver et indblik i arten af ​​kunst, som ellers er svær selv for mennesker at udvikle. Dette kommer fra at analysere de malerier, som algoritmen har svært ved at klassificere.

For eksempel siger Saleh og Elgammal, at deres nye tilgang har svært ved at skelne mellem værker malet af Camille Pissarro og Claude Monet. Men lidt research om disse kunstnere afslører hurtigt, at begge var aktive i Frankrig i slutningen af ​​det 19. og begyndelsen af ​​det 20. århundrede, og at begge deltog på Académie Suisse i Paris. En ekspert ved måske også, at Pissarro og Monet var gode venner og delte mange oplevelser, der gav deres kunst. Så det faktum, at deres arbejde ligner hinanden, er ingen overraskelse.

Som et andet eksempel forvirrer den nye tilgang værker af Claude Monet og den amerikanske impressionist Childe Hassam, som, det viser sig, var stærkt påvirket af de franske impressionister og Monet i særdeleshed. Disse er links, som det kan tage et menneske noget tid at opdage.

Den algoritmiske tilgang finder også forbindelser mellem visse kunstneriske stilarter. For eksempel forveksler det ofte eksempler på abstrakt ekspressionisme og actionmalerier, hvor kunstnere drypper eller kaster maling og træder på lærredet. Saleh og Elgammal siger igen, at denne form for sammenblanding ville være helt forståelig for en menneskelig seer. 'Action painting' er en type eller subgenre af abstrakt ekspressionisme,' påpeger de.

Algoritmen udvælger adskillige andre ligheder. Den forbinder ekspressionisme og fauvisme, hvilket kunne forventes, da sidstnævnte bevægelse ofte opfattes som en type ekspressionisme. Det forbinder manér og renæssancestilene, hvilket tydeligt afspejler det faktum, at manerisme er en form for tidlig renæssancemaleri.

Og den finder andre mere ligefremme forbindelser, for eksempel mellem renæssance- og tidlig renæssance-malerier, mellem impressionisme og post-impressionisme og mellem kubisme og dens senere manifestation, syntetisk kubisme.

Disse forbindelser er velkendte for kunsthistorikere, men kun på grund af mange årtiers, eller faktisk århundreders, videnskab. Derimod strækker maskinlæringstilgangen sig over kun et par måneder.

Det har vigtige konsekvenser for studiet af kunsthistorie. En anvendelse af de nye algoritmer er at udvælge malerier med lignende karakteristika (se billeder). Det giver et nyt og kraftfuldt værktøj for historikere til at lede efter påvirkninger mellem kunstnere, som måske aldrig har været klar over.

Det tillader også en ny form for kunstudforskning, der springer fra et billede til et andet lignende, i en proces, der visuelt svarer til at finde synonymer.

Fascinerende ting!

Ref: arxiv.org/abs/1505.00855 : Klassificering af kunstmalerier i stor skala: At lære den rigtige metrik på det rigtige træk

skjule