211service.com
Wisdom of the Crowd forudsiger nøjagtigt højesterets afgørelser
FantasySCOTUS er en online fantasy-liga, hvor deltagere konkurrerer ved at forudsige beslutninger truffet af den amerikanske højesteret. Spillere er rangeret som i enhver fantasy-liga, og de bedste spillere kan vinde præmier såsom en gylden gavel og endda $10.000 i kontanter.
Siden 2011 har omkring 7.000 spillere lavet over 600.000 forudsigelser om resultatet af over 400 højesteretsafgørelser. Disse mennesker har ikke brug for nogen særlig kvalifikation, og adgangen er gratis, selvom præmier er begrænset til amerikanske statsborgere. Spillere kan komme og gå, som de vil, tage del i nogle forudsigelser, men ikke andre.
Alt det gør dette til en interessant gruppe. Samfundsforskere har længe været interesseret i folkemængdernes visdom – fænomenet, hvor et stort antal individer, der tilsyneladende handler uafhængigt, sammen kan træffe overraskende nøjagtige beslutninger, nogle gange endda bedre end de klogeste blandt dem.
Landskabet af crowdsourcet visdom til at forudsige SCOTUS-beslutninger
Forskere ved, at i nogle tilfælde er skarernes visdom meget nøjagtig, men at den i andre ikke er bedre end tilfældig gæt, og nogle gange værre. Så hvor god er mængden til at forudsige højesterets afgørelser?
I dag får vi et svar takket være arbejdet fra Daniel Martin Katz ved Chicago Kent College of Law i Illinois og et par venner, der har knust dataene fra FantasySCOTUS for at finde ud af, hvor god mængdens visdom egentlig er. Og de viser, at crowdsourcing er ret god til at forudsige resultatet over en lang række forhold.
Deres metode er ligetil. Disse fyre kommer med følgende scenarie:
Tænk hvis følgende historie var ægte. I oktober 2011 blev en million-dollar-pris annonceret for at forudsige seks års afgørelser fra USA's højesteret ved hjælp af crowdsourcing-data. Tusindvis af hold fra hele industrien og den akademiske verden reagerer på udfordringen, og de træffer hver især lidt forskellige, men rimelige valg om, hvordan de skal udforme deres forudsigelser.
Katz og co spørger, hvordan disse hold kan gribe problemet an. Nogle hold følger måske mængdens visdom generelt, andre kan vælge en undergruppe af indflydelsesrige individer at følge, en anden tilgang kunne være at vægte individers indflydelse i henhold til deres nøjagtighed i fortiden, og så videre. Disse modeller kan også udvikle sig over tid, efterhånden som teamene lærer, hvilken slags tilgang der fungerer bedst.
Spørgsmålet, som Katz og co stiller, er, hvor gode disse modeller kan være. For at finde ud af det skaber de en bred vifte af modeller - omkring 250.000 af dem - og tester dem på data fra FantasySCOTUS. Vi simulerer udtømmende modeller over en bred vifte af rimelige valg og analyserer derefter ydeevnen af disse modeller samlet, siger forskerne.
De sammenligner derefter modellernes ydeevne med en nulmodel. I dette tilfælde er nulmodellen en tommelfingerregel, som advokater bruger til at gætte resultatet af højesterets afgørelser. Denne regel er at antage, at SCOTUS vil omgøre afgørelsen fra enhver lavere domstol. Og det er faktisk, hvad der sker omkring 60 procent af tiden.
Analysen viser, at crowdsourcede modeller er endnu bedre. Katz og co siger, at mange modeller konsekvent overgår nul-modellen, den bedste forudsigende SCOTUS-beslutning med 80 procent nøjagtighed. Vi giver stærk støtte til påstanden om, at crowdsourcing præcist og robust kan forudsige afgørelserne fra USA's højesteret, siger de.
Holdet planlægger at bruge samme metode til at forudsige resultatet af andre lovgivningsprocesser og endda valg.
Værket giver dog ikke indblik i svaghederne ved crowdsourcing-visdom. For eksempel bryder skarernes visdom ofte sammen, når enkeltpersoners meninger bliver korrelerede - når de påvirker hinanden for stærkt. Dette kan resultere i katastrofale situationer, som når store grupper har irrationelle eller forkerte meninger under indflydelse af gruppetænkning.
Selvfølgelig er det interessante område mellem disse ekstremer – mellem visdom og dårskab. Derfor kan det være en interessant vej for fremtidigt arbejde at forstå, hvordan og hvornår visdom bryder sammen.
Ref: arxiv.org/abs/1712.03846 : Crowdsourcing forudsiger nøjagtigt og robust højesterets afgørelser