Beregningsæstetisk algoritme spotter skønhed, som mennesker overser

En af de deprimerende sandheder om sociale medier er, at et billedes popularitet ikke nødvendigvis er en indikation af dets kvalitet. Det er nemt at finde enormt populært indhold af tvivlsom kvalitet. Men det er meget sværere at finde upopulært indhold af høj kvalitet.

Det er i høj grad, fordi popularitet er styret af en magtlov: en lille del af indholdet får en stor del af opmærksomheden, mens langt størstedelen af ​​indholdet deler resten. Tag billeddelingswebstedet Flickr, som er vært for omkring 200 millioner billeder. Af disse har 166 millioner fem favoritter eller færre.

Det er et stort antal upopulære billeder! Det er let at forestille sig, at der må være mange fotografiske perler gemt i denne lange hale af upopularitet. Men hvordan afslører man det?

I dag får og svarer vi takket være arbejdet fra Rossano Schifanella ved Universitetet i Torino i Italien og Miriam Redi og Luca Maria Aiello på Yahoo Labs i Barcelona. Disse fyre har lært en maskinsynsalgoritme at genkende skønhed og derefter ladet den trawle gennem den lange hale af upopulære Flickr-billeder på udkig efter ædelstene, som ingen har bemærket. Og resultaterne er imponerende.

Schifanella og co begynder med at crowdsource menneskelig mening om den æstetiske kvalitet af omkring 10.000 billeder fra Flickr-databasen. Disse omfatter både populære og upopulære billeder i fire kategorier, alt efter om de forestiller mennesker, natur, dyr eller bymotiver.

Hvert billede er vurderet af mindst fem mennesker i henhold til fem æstetiske kategorier, der spænder fra ekstrem dårlig til exceptionel kvalitet. Denne proces producerer et jordsandhedsdatasæt af billeder, der svarer til hver æstetisk kategori.

Dernæst bruger teamet dette datasæt til at træne et maskinsynssystem kaldet CrowdBeauty til at genkende billeder, der falder ind under hver kategori. For at gøre dette analyserer algoritmen hvert billede ved hjælp af kriterier som dets kontrast, lysstyrke, farvemønstre, arrangementet af funktioner i billedet og så videre.

Algoritmen fungerer, hvordan disse kriterier relaterer sig til den eventuelle æstetiske vurdering. Schifanella og co tester derefter CrowdBeauty-algoritmen ved at bede den om at forudsige vurderingen af ​​en række fotografier, de endnu ikke har set. Dette kan den gøre med overraskende nøjagtighed, især for dyrebilleder og bybilleder.

Endelig lod Schifanella og co CrowdBeauty slippe løs på en database med ni millioner billeder fra Flickr, der har færre end fem favoritter. Dens mål er at udvælge smukke billeder, der endnu ikke er blevet populære.

Resultaterne er imponerende med CrowdBeauty, der fremhæver adskillige smukke billeder. Holdet sammenligner disse billeder med dem, der blot er populære ved at crowdsourcing mening om dem. Vores metode henter billeder, hvis median opfattet skønhedsscore er lig med de mest populære, og hvis gennemsnit kun er lavere med 1,5 %, siger de.

(På billedet ovenfor er upopulære billeder i venstre kolonne, populære billeder vises i midterste kolonne, og billeder valgt af CrowdBeauty vises i højre kolonne.)

Det rejser umiddelbart muligheden for forskellige ansøgninger. En idé er at bruge CrowdBeauty til at finde smukke billeder, som endnu ikke er blevet populære.

Som et proof-of-concept forestiller vi os en ny Flickr Beauty Explorer-side, der viser månedens smukkeste, men upopulære billeder, som komplement til den klassiske Flickr Explorer, der indeholder billeder med meget høj social feedback, siger Schifanella og co.

Med andre ord har CrowdBeauty-algoritmen potentialet til at demokratisere fotodelingsplatforme ved at fremhæve talentfulde personer, som ellers er undervurderet.

Så der er håb endnu for alle jer ikke værdsatte fotografer derude.

Ref: arxiv.org/abs/1505.03358 : Et billede er mere end tusinde favoritter værd: Overflade den skjulte skønhed af Flickr-billeder

skjule