Data-mining 100 millioner Instagram-billeder afslører globale tøjmønstre

Forestil dig en fremtidig antropolog med adgang til billioner af billeder af mennesker – taget gennem århundreder og over hele verden – og udstyret med effektive værktøjer til at analysere disse fotos for at opnå indsigt. Hvilken slags nye spørgsmål kan besvares?

Dette er drømmen, der har inspireret Kevin Matzen, Kavita Bala og Noah Snavely på Cornell University i Ithaca, New York.

Deres tankegang er, at de millioner af billeder, der hver dag uploades til sociale medier, giver et fascinerende vindue til de kulturelle, sociale og økonomiske faktorer, der former samfund rundt om i verden. Med kraftig nok maskinintelligens, siger de, burde det være muligt at udvinde denne modermængde af data for at få dyb indsigt i vores civilisation.

Algoritmen afslører, hvordan tøjstile ændrer sig over tid

Som heldet ville have det, dukker denne form for maskinintelligens i øjeblikket frem med rasende hastighed. Og Matzen og co har sat det i gang med at studere 100 millioner billeder lagt på Instagram.

Spørgsmålet, disse fyre specifikt ønsker at besvare, var, hvordan tøjstile varierer rundt om i verden, et kulturelt fænomen, som ellers er svært at studere i denne skala.

For eksempel kan deres tilgang tackle spørgsmål såsom, hvordan hyppigheden af ​​tørklædebrug i USA ændrer sig over tid, hvilke stilarter der er mest specifikke for bestemte regioner eller byer, og omvendt, hvilke stilarter der er populære over hele verden.

For at finde ud af det, henvendte Matzen og co sig til Instagram, som tillod dem at downloade billeder inden for fem kilometer fra et bestemt sted og inden for fem dage efter en bestemt dato.

Holdet identificerede derefter 44 byer at studere og downloadede i alt 100 millioner billeder fra disse steder i fem-dages vinduer mellem juni 2013 og juni 2016.

De brugte et standard ansigtsgenkendelsesprogram til at bortfiltrere alle de billeder, der ikke indeholdt et ansigt, og de filtrerede også for en synlig torso, hvilket efterlod et sæt på 15 millioner billeder af mennesker, der viste den øverste halvdel af deres krop sammen med deres placering og datoen.

Dernæst trænede de en maskinlæringsalgoritme til at genkende forskellige typer tøj og tilbehør i billeder. For eksempel lærte algoritmen at genkende, om folk havde en jakke, et tørklæde, et slips, briller, en hat og så videre. Algoritmen kunne også genkende farver, halsudskæring og ærmelængde; tøjkategorier såsom T-shirt, kjole eller tanktop; og tøjmønstre, såsom solid, stribet, plaid og så videre.

Til sidst lod de maskinen tabe på de 15 millioner billeder i deres datasæt og brugte derefter en anden algoritme til at søge efter klynger af billeder med lignende visuelle temaer og spore, hvordan disse varierede over tid og fra et sted til et andet.

Resultaterne giver interessant læsning. Klyngealgoritmen fandt omkring 400 forskellige visuelle temaer, såsom folk iført hvide T-shirts og briller, eller iført røde V-hals toppe eller sorte kjoler, eller slet ikke bære toppe!

Matzen og co kan så studere, hvordan disse visuelle temaer varierer efter tid og sted. De fandt for eksempel ud af, at visse farver varierer periodisk, hvor sort og brun er mere almindelig om vinteren og hvid og blå mere almindelig om sommeren.

Andre farver viser forskellige mønstre. For eksempel falder populariteten af ​​rødt. Og selvom det er meget mindre periodisk end sort eller hvidt, bliver det pludselig populært fra tid til anden. Matzen og co peger på små stigninger i popularitet i slutningen af ​​oktober og december: med andre ord til Halloween og jul. Det, der skilte sig ud, var et stort sortiment af nissehuer samt et uventet sortiment af røde Halloween-kostumer med røde hatte eller hætter, fortæller de.

De fandt også en pludselig stigning i populariteten af ​​gule trøjer i Colombia og Brasilien under verdensmesterskabet i fodbold i juni/juli 2014 - begge landes fodboldhold bærer gult.

De bemærkede også forskellige geografiske tendenser. Lande længere mod nord har en tendens til at have flere jakker, siger de, formentlig fordi det er koldere.

Hat iført er også mere populært i koldere lande. Men mærkeligt nok viser Oman i Mellemøsten sig at være en af ​​verdens hatte-bærende hovedstæder. Især kumaen og massaren er populære i Oman, da de er et vigtigt element i mændenes nationaldragt, siger Matzen og co.

Noget tøj er unikt for bestemte steder: geleen, et nigeriansk hovedslips, er meget karakteristisk for Lagos. Og andre stilarter er almindelige rundt om i verden og hele året rundt, herunder skjorter med blå krave, plaidskjorter og sorte T-shirts.

Det er interessant arbejde, der afslører potentialet for maskinlæring til at pirre vores samfunds kulturelle struktur.

Selvfølgelig er denne tilgang ikke perfekt. Algoritmen lærte ikke at skelne mellem solbriller og receptpligtige briller, som spiller forskellige roller i samfundet. Det er usandsynligt, at billederne er repræsentative for samfundet som helhed, da Instagram-brugere er stærkt skæve til en yngre demografi. Og teknikken ser kun på overkroppen, da benene ofte er beskåret på online billeder.

Men der er et betydeligt potentiale for at rette op på disse mangler i det fremtidige arbejde og gå videre. En løbende udfordring i maskinsyn er at finde ud af, om folk står eller sidder, eller hvad de laver generelt. Det ville også være muligt at kombinere dette datasæt med andre, såsom vejr- og temperaturdata.

Som Matzen og co konkluderer: Kombinationen af ​​big data, maskinlæring, computervision og automatiserede analysealgoritmer ville give et meget kraftfuldt analyseværktøj mere bredt inden for visuel opdagelse af mode og mange andre områder.'

Det er klart, at vi ikke behøver at vente på fremtidens antropologer.

Ref: arxiv.org/abs/1706.01869 :StreetStyle: Udforsk verdensomspændende tøjstile fra millioner af billeder

skjule