Hvordan Mechanical Turkers Crowdsourcede et enormt leksikon af forbindelser mellem ord og følelser

En af buzzphrases forbundet med det sociale web er følelsesanalyse. Dette er evnen til at bestemme en persons mening eller sindstilstand ved at analysere de ord, de poster på Twitter, Facebook eller et andet medie.

Meget er blevet lovet med denne metode - evnen til at måle tilfredshed med politikere, film og produkter; evnen til bedre at styre kunderelationer; evnen til at skabe dialog til følelsesbevidste spil; evnen til at måle strømmen af ​​følelser i romaner; og så videre.

Ideen er fuldstændig at automatisere denne proces - at analysere brandslangen af ​​ord produceret af sociale websteder ved hjælp af avancerede data mining-teknikker til at måle følelser i stor skala.

Men alt dette afhænger af, hvor godt vi forstår de følelser og polaritet (hvad enten de er negative eller positive), som folk forbinder med hvert ord eller kombinationer af ord.

I dag afslører Saif Mohammad og Peter Turney ved National Research Council Canada i Ottawa en enorm database med ord og deres tilhørende følelser og polaritet, som de har samlet hurtigt og billigt ved hjælp af Amazons crowdsourcing Mechanical Turk-websted. De siger, at denne crowdsourcing-mekanisme gør det muligt at øge størrelsen og kvaliteten af ​​databasen hurtigt og nemt.

De fleste psykologer mener, at der i det væsentlige er seks grundlæggende følelser - glæde, tristhed, vrede, frygt, afsky og overraskelse - eller højst otte, hvis du inkluderer tillid og forventning. Så opgaven for ethvert ord-følelsesleksikon er at bestemme, hvor stærkt et ord er forbundet med hver af disse følelser.

En måde at gøre dette på er at bruge en lille gruppe eksperter til at forbinde følelser med et sæt ord. En af de mest berømte databaser, skabt i 1960'erne og kendt som General Inquirer-databasen, har over 11.000 ord mærket med 182 forskellige tags, inklusive nogle af de følelser, som psykologer nu mener er de mest basale.

En mere moderne database er WordNet Affect Lexicon, som har et par hundrede ord tagget på denne måde. Dette brugte en lille gruppe eksperter til manuelt at mærke et sæt frøord med de grundlæggende følelser. Størrelsen af ​​denne database blev derefter dramatisk forøget ved automatisk at forbinde de samme følelser med alle synonymer af disse ord.

Et af problemerne med disse tilgange er den store tid, det tager at kompilere en stor database, så Mohammad og Turney prøvede en anden tilgang.

Disse fyre udvalgte omkring 10.000 ord fra en eksisterende synonymordbog og leksikonerne beskrevet ovenfor og lavede derefter et sæt af fem spørgsmål til at stille om hvert ord, der ville afsløre følelserne og polariteten forbundet med det. Det er i alt over 50.000 spørgsmål.

De stillede derefter disse spørgsmål til over 2000 mennesker, eller tyrkere, på Amazons Mechanical Turk-websted og betalte 4 cents for hvert sæt korrekt besvarede spørgsmål.

Resultatet er et omfattende ord-følelsesleksikon for over 10.000 ord eller to-ords sætninger, som de kalder EmoLex.

En vigtig faktor i denne forskning er kvaliteten af ​​de svar, som crowdsourcing giver. For eksempel kan nogle tyrkere svare tilfældigt eller endda bevidst indtaste forkerte svar.

Mohammad og Turney har tacklet dette ved at indsætte testspørgsmål, som de bruger til at vurdere, om tyrkeren svarer godt eller ej. Hvis ikke, ignoreres alle data fra denne person.

De testede kvaliteten af ​​deres database ved at sammenligne den med tidligere oprettet af eksperter og siger, at den kan sammenlignes godt. Vi sammenlignede en delmængde af vores leksikon med eksisterende guldstandarddata for at vise, at de opnåede annoteringer faktisk er af høj kvalitet, siger de.

Denne tilgang har et betydeligt potentiale for fremtiden. Mohammad og Turney siger, at det burde være ligetil at øge størrelsen af ​​datodatabasen og samtidig nemt kan tilpasses til at skabe lignende leksikon på andre sprog. Og alt dette kan gøres meget billigt - de brugte $2100 på Mechanical Turk i dette arbejde.

Den nederste linje er, at sentimentanalyse kun nogensinde kan være så god som den database, den er afhængig af. Med EmoLex har analytikere et nyt værktøj til deres boks med tricks.

Ref: arxiv.org/abs/1308.6297 : Crowdsourcing af et ord-følelsesforenings-leksikon

skjule