211service.com
Inspireret af Wikipedia skaber samfundsforskere en revolution i onlineundersøgelser
Indsamling af data om menneskelige præferencer og aktiviteter er brød og smør for megen forskning inden for samfundsvidenskab. Men hvordan man bedst indsamler disse data har længe været genstand for heftig debat.
Samfundsforskere har grundlæggende to valg. På den ene side er der opinionsundersøgelser baseret på et sæt multiple choice-spørgsmål, en såkaldt lukket tilgang. På den anden side er der åbne tilgange i form af fritgående interviews, hvor respondenterne frit kan sige deres mening. Der er klart vigtige fordele og ulemper ved hver metode.
I dag skitserer Matthew Salganik ved Princeton University i New Jersey og Karen Levy ved New York University en helt ny måde at indsamle data på, inspireret af en ny generation af informationsaggregeringssystemer såsom Wikipedia. Ligesom Wikipedia udvikler sig over tid baseret på bidrag fra deltagere, forestiller vi os en udviklende undersøgelse drevet af bidrag fra respondenter, siger de.
De siger, at den nye tilgang kan give indsigt, som ville være svær at opnå med andre metoder. Men det giver også udfordringer for samfundsforskere, især når det kommer til at analysere de indsamlede data på denne måde.
Projekter som Wikipedia er resultatet af brugergenereret indhold i massiv skala. Det spørgsmål, som Salganik og Levy stiller, er, om undersøgelser også kunne konstrueres af respondenterne selv, i det mindste delvist.
For at finde ud af det har disse fyre udviklet en ny type dataindsamlingsmekanisme, som de kalder en wiki-undersøgelse. Dette starter med et sæt startspørgsmål, men giver respondenterne mulighed for at tilføje deres egne spørgsmål, efterhånden som undersøgelsen involverer.
Denne wiki-undersøgelse har en særlig form, hvor respondenterne bliver bedt om at vælge mellem to muligheder: foretrækker de f.eks. punkt A eller punkt B. Men det er afgørende, at de også kan tilføje et nyt element, som vil blive præsenteret for fremtidige deltagere. Så som tiden går, stiger antallet af elementer at vælge imellem, efterhånden som respondenterne foreslår deres egne ideer.
Denne form for parvise undersøgelse har en række fordele. Salganik og Levy påpeger, at dette format giver deltagerne mulighed for at reagere på så mange valg, som de ønsker. De kalder denne ejendom grådighed.
Denne form for undersøgelse giver også respondenterne mulighed for at bidrage med nye elementer, når de ønsker det, og er derfor unikt samarbejdsorienteret. Endelig kan de par, der præsenteres for nye deltagere, udvælges på en måde, der maksimerer læring baseret på tidligere svar, så en wiki-undersøgelse kan tilpasse sig, efterhånden som den udvikler sig.
For at teste ideen oprettede Salganik og Levy en gratis hjemmeside kaldet www.allourideas.org hvor alle kan oprette en parvis wiki-undersøgelse og samle respondenter fra en målgruppe, der opfordres til at deltage. Siden 2010 har denne hjemmeside været vært for omkring 5.000 parvise wiki-undersøgelser, der har inkluderet 200.000 elementer og opnået 5 millioner svar.
Salganik og Levy diskuterer i detaljer eksemplet på en undersøgelse foretaget af Office of Long-Term Planning and Sustainability, som ledes af New Yorks borgmester. Denne organisation ønskede at forstå beboernes ideer om byens bæredygtighedsplan og integrere eventuelle nye tanker.
Borgmesterkontoret begyndte med en liste over 25 frøartikler, som den bad folk om at sammenligne på parvis måde, samtidig med at de opmuntrede deltagerne til at tilføje deres egne ideer. For eksempel blev folk bedt om at vælge mellem Åbne skolegårde i hele byen som offentlige legepladser og Øge målrettede træplantninger i kvarterer med høj astma.
I løbet af fire måneder bidrog 1.436 respondenter med over 30.000 svar og 464 nye ideer til undersøgelsen. Ved afslutningen af undersøgelsen var otte af de 10 højest scorende ideer blevet bidraget af respondenterne selv.
Disse omfattede ideer, der sandsynligvis ikke ville have dukket op gennem andre dataindsamlingsmetoder, såsom Hold NYCs drikkevand rent ved at forbyde fracking i NYCs vandskel og Slut skibe til elnettet, så de ikke går i tomgang i havn - hvilket reducerer emissioner svarende til 12.000 biler pr. skib.
Salganik og Levy er hurtige til at påpege, at deres metode kræver væsentlig yderligere forskning.
Især skal de bedre forstå sammenhængen og validiteten af de svar, de genererer. Det kunne gøres ved at sammenligne resultaterne med dem, der er indsamlet ved andre former for dataindsamling.
Hvad mere er, at analysere data fra parvise wiki-undersøgelser er stadig noget af et statistisk eksperiment. Og de tilbyder noget af en udfordring for det statistiske samfund for at finde de mest effektive måder at udtrække information fra denne form for proces.
Det er en interessant ny tilgang, der tillader indsamling af data, som ville være svære at få ved andre metoder. Det giver især mulighed for at indsamle data på en måde, der afspejler den velkendte langhalede fordeling af bidragydere.
For eksempel, på Wikipedia er det meste af informationen intuitioneret af en lille del af redaktørerne. Hvis Wikipedia skulle tillade 10 og kun 10 redigeringer pr. redaktør – svarende til en undersøgelse, der kræver, at respondenterne udfylder én og kun én formular – ville det udelukke omkring 95 % af de bidragede redigeringer, siger Salganik og Levy.
Selvfølgelig skal der tages højde for denne form for bias, når det kommer til dataanalyse. Og heri ligger en væsentlig udfordring. Tid for statistikerne at få travlt.
Ref: arxiv.org/abs/1202.0500 Wiki-undersøgelser: Åben og kvantificerbar social dataindsamling