Machine vision kan spotte ukendte forbindelser mellem klassiske kunstværker

Billede af fire malerier med lignende poserede motiver

Et af de vigtige spørgsmål, som kunsthistorikere forfølger, er, hvordan store kunstnere blev påvirket af andre. De undersøger kunstværkets stil, indhold og genre og leder efter forbindelser og påvirkninger mellem kunstnere.

Det er en kompleks forretning. I dagene før fotografering var den eneste måde at kopiere et kunstværk på i hånden. Denne form for arbejde var faktisk almindeligt. Kunstnere kopierede ofte deres eget værk eller værker af andre i det samme studie, og kopierne florerede.

Men målet med denne form for kopiering var ikke altid at gengive originalen. Ofte brugte kunstnere eksisterende billeder som udgangspunkt for deres eget arbejde, som ville afspejle originalens komposition eller positur. Faktisk er der mange eksempler på identiske menneskefigurer i samme positur i helt forskellige malerier.

Så kunsthistorien er et komplekst net af forbindelser mellem kunstnere og deres værker, ofte kortlagt i indflydelsen på originalværker, delvise kopier og komplette kopier.

Den menneskelige positur spiller en vigtig rolle i dette. En opgave for kunsthistorikeren er at pirre dette net fra hinanden, at studere de menneskelige positurer brugt af forskellige kunstnere og få et glimt af de kræfter, der påvirkede dem.

I dag bliver det nemmere takket være arbejdet fra Tomas Jenicek og Ondrej Chum på det tjekkiske tekniske universitet i Prag. Disse fyre har brugt et maskinsynssystem til at analysere positurerne af menneskelige motiver i kunstmalerier gennem historien. De søger derefter efter andre malerier, der indeholder mennesker i de samme positurer.

Teknikken afslører hidtil ukendte forbindelser mellem kunst og kunstnere. Det tilføjer et kraftfuldt nyt værktøj til arsenalet, som kunsthistorikere kan bruge, med potentiale til at ændre den måde, vi forstår kunsthistorien på.

Metoden er forholdsvis ligetil og baseret på de enorme databaser, som kunsthistorikere har lavet de seneste år. Disse har digitaliseret samlingerne fra mange af verdens bedste museer og gallerier, og mange af dem er åbent tilgængelige online. Disse databaser er pludselig modtagelige for analyse ved hjælp af maskinintelligens.

Samtidig har andre forskere udviklet maskinsynsalgoritmer, der kan bestemme en menneskelig positur ud fra et 2D-billede. Sandsynligvis den mest avancerede er en algoritme kaldet OpenPose, et open source-program til real-time positionsdetektion i 2D-billeder, udviklet ved Carnegie Mellon University i Pittsburgh.

Jenicek og Chum bruger denne software til at søge efter lignende positurer i en database med manuelt kommenterede billeder. Dette fungerer som en slags guldstandard.

De siger, at den automatiserede proces let overgår andre måder at finde lignende billeder på. Vi viser eksperimentelt, at eksplicit matchning af menneskelig positur er overlegen i forhold til standardindholdsbaserede billedhentningsmetoder på et manuelt annoteret kunstkompositionsoverførselsdatasæt, siger de.

De fortsætter med at lede efter lignende stillinger i en online database kaldet Web Gallery of Art, som indeholder 37.000 billeder. Forskerne siger, at deres algoritme opdagede en lang række forbindelser mellem billeder, som ville have været umulige at identificere på anden måde (se billede).

Algoritmen er selvfølgelig ikke perfekt. Den finder en række falske positiver, hvor poseringer på forskellige billeder ser ens ud, men efter visuel inspektion viser sig at være helt anderledes.

Dette er på ingen måde det første forsøg på at bruge maskinsyn til at studere kunst. Det har forskere allerede brugte algoritmer til at finde slående nye forbindelser mellem kunstværker baseret på den generelle komposition af et maleri.

Estimering af menneskelig stilling er meget sværere for maskiner end at studere generel sammensætning, så det har taget længere tid at bringe denne teknologi ud i kunstverdenen. Men udbredelsen af ​​mennesker i kunsten er så stor, at denne teknik har et betydeligt potentiale.

Det tilbyder en kraftfuld ny måde at analysere kunstværker gennem tiderne og til at studere, hvordan kopier og variationer af menneskelige positurer har påvirket kunstnere. Hvordan kunsthistorikere bruger dette nye værktøj, vil være fascinerende at se.

Ref: arxiv.org/abs/1907.03537 : Sammenkædning af kunst gennem menneskelige stillinger

skjule