211service.com
Neuralt netværk vurderer billeder til lykkeniveauer
Sentimentanalyse revolutionerer studiet af kommunikation med en lang række virksomheder, der nu tilbyder det som en service. Ideen er at studere mønstrene for ord i beskeder som tweets og blogs for at afgøre, i hvilket omfang de er positive eller negative. Det giver virksomheder, organisationer og politiske partier mulighed for automatisk at spore meninger om deres brands.
Men mens denne teknologi har været under udvikling, har lidt forskning fokuseret på følelserne i billeder. I dag ændrer det sig takket være arbejdet fra Can Xu ved University of California, San Diego, og en gruppe forskere fra Yahoo Labs i Sunnyvale. Disse folk har udviklet en måde til automatisk at vurdere den følelse, der er forbundet med et billede, og sige, at det overgår andre avancerede teknikker.
Xu og co starter ikke fra bunden. Mens følelser i billeder stort set er blevet ignoreret, er problemet med genkendelse af objekter i billeder et veludviklet felt, der er blevet forbedret i spring og grænser i de seneste år.
Så Xu og co begynder med et neuralt netværk, der allerede er trænet i et datasæt af billeder, der viser objekter opdelt i 1000 klassifikationer. Når det vises et billede, giver dette netværk en fordeling, der viser, hvor sandsynligt det er, at billedet falder ind under hver af disse 1.000 klassifikationer.
Det er dette 1.000-dimensionelle output, som Xu og co bruger i deres forskning. De tager først to datasæt af billeder fra Tumblr og Twitter, der allerede er blevet vurderet for sentiment på en fem-punkts skala af meget negativ, negativ, neutral, positiv og meget positiv.
De træner derefter en maskinlæringsalgoritme for at finde en sammenhæng mellem outputtet på 1.000 dimensioner og stemningen. Efter at have trænet maskinen, sammenligner de den derefter med to andre avancerede sentimentanalyseteknikker, såsom en, der er afhængig af visuelle funktioner på lavt niveau som billedfarve og en anden kaldet SentiBank, som genererer en adjektiv-navneord-beskrivelse af et billede og giver derfor en følelse af følelse.
Xu og co siger, at deres teknik overgår de eksisterende tilgange dramatisk. Eksperimenter viser, at vores foreslåede modeller overgår de avancerede metoder på både Twitter- og Tumblr-datasæt, siger de.
Det er en nyttig start i det begyndende felt af billedfølende analyse. Resultaterne for første gang tyder på, at Convolutional Neural Networks er meget lovende for visuel sentimentanalyse, siger de.
Ikke desto mindre er der et betydeligt arbejde forude. Et berygtet problem med ordbaseret sentimentanalyse er, at den ikke kan klare subtile kulturelle påvirkninger, såsom sarkasme og ironi. Og denne form for unikt menneskelig adfærd kan i alvorlig grad reducere pålideligheden af sentimentanalyse.
Hvor vigtige disse former for idiosynkrasier vil være for billeder, er endnu ikke fastlagt, men billedstemningen kan endnu være et andet område, hvor menneskelig præstation snart vil blive overvåget og måske endda matchet af maskiner.
Ref: arxiv.org/abs/1411.5731 : Visuel stemningsforudsigelse med dybe konvolutionelle neurale netværk