Meningsmålingerne tog fejl ved valget i 2016. Nu vil de have endnu et skud.

Der er en ny skare af potentielle orakler, fast besluttet på ikke at kopiere deres forgængeres fejltagelser. Ved

• Rob Arthur arkiv side

14. februar 2020

Karsten Petrat

Natten til den 8. november 2016 så Charles Franklin ligesom millioner af andre amerikanere præsidentvalgets resultater rulle ind med, hvad han beskrev som en synkende følelse. Men Franklin , en meningsmåling fra Wisconsin og professor i jura og offentlig politik ved Marquette University, var ikke bekymret på grund af sine personlige politiske præferencer; han havde sit omdømme på spil. Blot en uge tidligere havde hans egen meningsmåling vist, at Hillary Clinton steg seks point i Wisconsin. I stedet var hun her og tabte med syv tiendedele point.

Franklin var på vagt hos ABC's Decision Desk, et medlem af et eksperthold bag kulisserne, der var ansvarlig for at opfordre stater til Clinton eller Donald Trump, da tallene kom ind. Da han så tilbagesendelserne hobe sig op indtil klokken fire om morgenen, blev det klart, at hans undersøgelse var slukket.

Denne historie var en del af vores marts 2020-udgave

• Se resten af ​​problemet
• Abonner

Ingen vil tage fejl, siger han og ser tilbage. Så i den forstand var det meget deprimerende.

Han var ikke den eneste meningsmåler, der misforstod valget. Ifølge RealClearPolitics , hver eneste af mere end 30 meningsmålinger i Wisconsin i månederne før valget fik Clinton til at vinde staten med marginer på mellem 2 og 16 point. Og disse fejl var blevet forstærket yderligere, fordi de derefter blev brugt som brændstof til computeralgoritmer, der forudsagde en samlet Clinton-sejr.

Efter at Donald Trump havde holdt sin sejrstale og støvet var ryddet, begyndte alle at indrømme deres fejl.

Det gjorde mig ked af at indse, at jeg havde taget fejl, skrev Natalie Jackson, en dataforsker ved Huffington Post, som havde givet Clinton en 98% chance for at vinde.

Medierne, inklusive mange forretninger, hvis egne prognoser havde givet Clinton en stor sandsynlighed for sejr, begyndte at afvise fejltagelsen af ​​forudsigelsesalgoritmer. Nogle kritikere var mere forsigtige end andre og anerkendte, at nogle prognosemænd nøjagtigt havde beskrevet en Trump-sejr som blot usandsynlig. Men mange sår tvivl om hele ideen om at forudsige valg. Nogle brugte endda valget som ammunition til at angribe hele datavidenskabens felt.

Alligevel næsten fire år senere, og med endnu en konkurrence på vej, begynder prognosemagerne at udsende tidlige forudsigelser for 2020. Tilbageslaget til 2016 har ikke afskrækket dem - faktisk er der nu en helt ny skare af potentielle orakler, fast besluttet på ikke at kopiere deres forgængeres fejltagelser.

Hvad gik galt

En cocktail af problemer førte til afstemningsmisserne i 2016. Nogle undersøgelser formåede ikke at kontakte nok mindre uddannede hvide vælgere, mens nogle Trump-tilhængere afviste at indrømme, hvilken vej de ville stemme. Trumps ukonventionelle strategi viste også flere borgere i stærkt republikanske landdistrikter. Meningsmålingerne antog forkert, at disse mennesker ville holde sig væk, som de havde gjort ved tidligere valg, hvilket fik Trumps base til at virke mindre, end den i virkeligheden var.

Men mens meningsmålere fik størstedelen af ​​skylden, burde der måske være faldet mere fordømmelse på prognosemagerne, som forvandler meningsmålingernes data til forudsigelser.

To store spådommere havde Hillary Clinton på 99 % for at vinde, siger G. Elliott Morris, en datajournalist hos Economist, der arbejder med valgprognose. Når hun ikke gjorde det, gav mange af dem bare meningsmålingerne skylden, for det er nemt for dem.

Der var mindst to store fejl begået af nogle af de datavidenskabsmænd, der hjalp med at designe forudsigelsesalgoritmerne. For det første antog de, at hvis oddsene for at være væk med næsten syv point i Wisconsin var lave, var oddsene for en sammenlignelig fejl i andre kritiske stater som Michigan og Pennsylvania små. Faktisk var afstemningsproblemer i én stat korreleret med fejl i andre lignende stater. At antage, at meningsmålinger var fuldstændig uafhængige af hinanden - i stedet for at afspejle de samme reaktioner på de samme spørgsmål - producerede overtillid til Clintons ledelse.

For det andet lykkedes det ikke forudsigelsesalgoritmer at registrere det rekordstore antal uafklarede vælgere som et advarselstegn. Fordi så mange vælgere var på hegnet lige op til valgdagen - og ville ende med at knække stærkt for Trump - var Clintons marginer meget mindre sikre, end de så ud til.

Karsten Petrat

Det stirrede os lige i ansigtet, siger Rachel Bitecofer , professor i statskundskab ved Christopher Newport University. Havde der været flere meningsmålinger i de tæt omstridte stater lige før valgdagen, foreslår hun, at analytikere kunne have samlet op på det usædvanligt høje antal vælgere, der besluttede at møde op i sidste øjeblik.

Det var dog ikke kun prognosemagernes skyld. Selv når deres sandsynligheder for hver kandidat var nøjagtige, så offentligheden ud til at have problemer med at forstå betydningen af ​​disse tal.

I løbet af valgkampens sidste dage arbejdede jeg hos FiveThirtyEight, en af ​​de mest fremtrædende forretninger, der lavede forudsigelser. Mit job involverede ikke præsidentvalget: I stedet dækkede jeg baseballs World Series. Da Chicago Cubs var nede med tre kampe til én i syv-kampsserien mod Cleveland Indians, bemærkede jeg, at deres odds for at vinde, omkring hver sjette, var et hår under Trumps chancer for at tage Det Hvide Hus. Seks hold havde gjort det før i World Series's 113-årige historie, og yderligere syv havde trukket det ud i andre playoff-runder, så det var bestemt muligt, men det var ikke typisk. Bagefter, da både Cubs og Trump vandt mod alle odds, modtog jeg en syndflod af had-tweets, der bebrejdede mig for på en eller anden måde at have skabt to meget mulige skæbnedrejninger.

Hvis du hører, at der vil være 20 % chance for regn, medbringer du ikke din paraply. Og så regner det, og du får alle krydset af, og det er nok din skyld, siger Steven Shepard, redaktør og valgprognoser hos Politico. Men den forekomst på 20 % er ikke nødvendigvis så usandsynlig.

Mange mennesker så ud til at se på, hvilken kandidat der forventedes at vinde (normalt Clinton) uden at overveje, hvor sikre prognosemagerne var. En chance på 70 % for en Clinton-sejr favoriserede bestemt demokraten, men burde have været set meget anderledes end en chance på 99 %.

Alligevel sagde nogle 99%, og de var uden tvivl for aggressive. Sam Wang ved Princeton Election Consortium vurderede Trumps chancer til mindre end 1 % og lovede endda at spise en fejl, hvis Trump fik mere end 240 valgmandsstemmer.

Da valgresultatet kom igennem, forblev Wang tro mod sit ord. En uge efter valgdagen, han dukkede op på CNN med en dåse gourmetgræshopper (gourmet set fra et kæledyrs synspunkt, præciserede han) og fordømte det skue, hans væddemål havde forårsaget. Jeg håber, at vi kan komme tilbage til data, og tænker eftertænksomt over politik og problemer, sagde han, før han dyppede en fårekylling i honning og med et smertefuldt udtryk slugte insektet ned.

Tredobbelt trussel

Ikke alle prognoser var så langt væk som Wangs. Nogle forventede endda en sejr for Trump. For at forstå, hvorfor de kom ind så forskelligt, er det værdifuldt at se på rækken af ​​tilgange, som falder i tre brede klasser.

De tidligste prognoser i hver valgcyklus kommer fra det, der kaldes fundamentale modeller. Disse er typisk bygget ud fra præsidentens godkendelsesvurderinger, økonomiske statistikker og demografiske indikatorer. En stærk økonomi forudsiger sejr for det etablerede parti, og det samme gør en høj godkendelsesvurdering for den etablerede. Den demografiske sammensætning af en stat kan også bruges til at forudsige resultatet - for eksempel havde hvide, ikke-højskoleuddannede vælgere en tendens til at stemme på Trump i 2016, så stater med mange af dem er mere tilbøjelige til at gå hans vej i 2020 som godt.

Fordi disse faktorer er relativt stabile, kan pålidelige fundamentale forudsigelser foretages meget tidligere end de fleste andre typer prognoser. Modeller som denne virker for simple til at fange alle særheder og skandaler i den moderne to-årige kampagne. Men de klarede sig chokerende godt i 2016: seks ud af 10 forudsagde den endelige folkeafstemning inden for et procentpoint.

Præsidentskabet vælges dog ikke ved direkte national folkeafstemning, og det er en vigtig begrænsning af grundlæggende tilgange: få forudsiger de endelige resultater af valgkollegiet.

Grundlæggende modeller har en anden svaghed. Hvis der dukker sene nyheder op, såsom en skandale i slutningen af ​​løbet eller et pludseligt skift i økonomien (finanskrisen i 2008 er et godt eksempel), så kan disse stabile prognoser pludselig blive sørgeligt forældede. For at kompensere for dette begyndte statistikere for et årti eller deromkring siden at popularisere nye former for kvantitative modeller, der ikke er helt så sårbare over for disse oktober-overraskelser. De behandler meningsmålingsdata, efterhånden som de kommer ud, og producerer et dag-for-dag-estimat af, hvem der vinder, så de kan svare, hvis den offentlige mening ændrer sig.

RealClearPolicies og New York Times' resultat begge har velansete kvantitative modeller, men ingen model har mere berømmelse - eller velsagtens, en bedre track record - end Nate Silvers FiveThirtyEight-prognose, opkaldt efter det samlede antal stemmer i Electoral College. FiveThirtyEights algoritme kommer i flere varianter, men alle sørger for at justere meningsmålinger efter, hvor troværdig undersøgelsesorganisationen er, og om dens resultater har en tendens til konsekvent at læne sig demokratisk eller republikansk. Den omhyggelige indtagelse af meningsmålingsdata og opmærksomheden Silver lægger vægt på usikkerhed, har traditionelt adskilt den fra andre prognoser. FiveThirtyEight er guldstandarden, fortalte Bitecofer mig.

Af de store kvantitative valgforudsigelser var FiveThirtyEights mest konservative , og tildeler Clinton en 71,4 % chance for at vinde på tærsklen til valget. Det lyder omtrent lige nu set i bakspejlet, siger Charles Franklin: Trumps sejr var et usandsynligt, men ikke umuligt, udfald.

Endelig er der forudsigere derude, som helt undgår matematiske tilgange, og i stedet stoler på en kombination af intuition, meningsmåling og output fra alle de andre typer modeller sammen. Disse kvalitative forudsigelser kører på en af ​​de mest sofistikerede og alligevel fejltilbøjelige beregningsmotorer, vi kender til: den menneskelige hjerne.

I stedet for præcise numeriske estimater grupperer kvalitative prognosemænd typisk løb i en af ​​fire kategorier på en skala, der spænder fra sikker til toss-up.

Toss-up betyder, at der ikke er nogen favorit: Slags en møntflip, siger Kyle Kondik , en kvalitativ prognoser med nyhedsbrevet for politisk analyse fra University of Virginia's Crystal Ball. Lean, siger han, er en lille kant til den ene eller den anden side. Sandsynligvis er en større kant til den ene eller den anden side. Og sikkert, siger han, betyder, at vi ville blive chokerede, hvis det parti tabte. Nogle kvalitative forudsigere hævder, at disse verbale grupperinger hjælper læsere med at forstå de relative sandsynligheder bedre end de mere nøjagtige tal, der tilbydes andre steder.

Selvom disse forudsigelser kan virke mindre videnskabelige end dem, der er baseret på knasende tal, kan nogle prale af et imponerende niveau af nøjagtighed. I 2018 midtvejs, ifølge en tredjepartsvurdering af flere faglige prognoser , var det den passende navn Crystal Ball, der klarede sig bedst, ikke FiveThirtyEights statistiske algoritme. Ydelse har dog en tendens til at svinge fra cyklus til cyklus: den bedste praksis, ifølge meningsmålere og akademikere, er at forbruge en bred vifte af prognoser - kvalitative, kvantitative og grundlæggende.

Hvad er det næste?

Næsten alle de prognosemænd, jeg talte med, havde modtaget grusomme hademails efter 2016-resultaterne. Alligevel har snesevis af nye modelbyggere kastet deres hatte i ringen for 2020.

De vil udrulle deres forudsigelser for første gang i år, og de er opsat på at undgå fejl fra tidligere valgcyklusser. Morris, The Economists prognoser, er en af ​​dem, der går ind i feltet. Han har kaldt tidligere, fejltilbøjelige forudsigelser for at lyve for folk og redaktionel fejlbehandling. Det skal vi lære af, siger han.

The Economist vil bygge sin algoritme ved hjælp af meningsmålinger offentliggjort af eksterne organisationer, men den vil også udføre sine egne undersøgelser for at understøtte resultaterne i tvetydige stater og racer, som Morris håber kan føre til større nøjagtighed.

Også Washington Post laver sin første satsning på forudsigelser - men tager en anden vej. Det forbliver uden for prognosespillet, indtil afkast begynder at komme ind. Først når de første distrikter begynder at annoncere stemmetotal på valgdagen, vil Post implementere sin analytiske model til at vurdere sandsynligheden for, at specifikke kandidater tager den stat eller det distrikt, som de er for. konkurrerer. Ved at vente, indtil de første stemmesedler er talt op, planlægger Postens dataforskere drastisk at reducere fejlen i at forudsige resten af ​​stemmerne, dog på bekostning af ikke at kunne frigive en tidlig fremskrivning.

Erfarne prognosemænd og meningsmålere sidder heller ikke på deres hænder. Bygherrer af grundlæggende modeller er begyndt at tage udfordringen op med at forudsige valgkollegiet i stedet for blot den folkelige afstemning. Bitecofer designede en model baseret primært på demografi, der allerede forudsiger en snæver valgsejr for den demokratiske udfordrer, hvem det end måtte være.

Designerne af disse problematiske kvantitative algoritmer ser ud til at have lært deres lektie om korrelerede fejl mellem tilstande. Huffington Post udsendte en MEA culpa for sin 98% forudsigelse af en Clinton-sejr. Wang, den insektædende Princeton-professor, har lovet at opdatere sin algoritme, så den vil være meget mindre selvsikker i 2020, indrømmer på sin blog at hans tidligere model var en fejl.

HESTELØBSMETNING MENES AT ØGE KYNISMEN ... DET FÅR FOLK TIL AT SE POLITIK SOM ET SPIL, HVOR DE GÅR UD OG RODER TIL DERES HOLD.

Kvalitative prognosemænd tog i mellemtiden en række lektioner fra 2016. Der er mange forskellige ting, som jeg set i bakspejlet ville ønske, at vi måske havde fokuseret lidt mere på, men jeg vil sige, at de grundlæggende principper - baserede modeller var de bedste i det valg, siger Kondik fra University of Virginia. Jeg ville ønske, at vi alle var mere opmærksomme på dem.

Kondik og andre understreger behovet for at være forsigtige med enhver forudsigelse i betragtning af den siddende præsidents historiske upopularitet, hvilket burde mindske hans chancer, og den stærke økonomi, som burde øge dem. Disse duelfaktorer betyder, at løbet er usikkert så langt fra valgdagen.

Karsten Petrat

Andre steder er medieorganisationer også begyndt at give deres estimater på måder, der er designet til at give læseren en bedre og mere intuitiv forståelse af, hvad sandsynligheder betyder. I stedet for at skrive, at demokraterne havde en chance på 87,9 % for at indtage Parlamentet under midtvejsvalget i 2018, understregede FiveThirtyEight, at de kunne have forventet at vinde syv ud af otte gange.

Psykologer har fundet ud af, at folk er bedre til at forstå disse typer [tal], skrev Yphtach Lelkes, en professor i kommunikation ved University of Pennsylvania.

Endelig er meningsmålingerne også i gang med deres spil. American Association for Public Opinion Research (AAPOR) udsendte et retrospektiv af 2016 med lektioner til fremtidige valg. Tips inkluderer brug af statistiske tricks for at sikre, at befolkningsprøver er mere repræsentative for den stat, der bliver undersøgt, og at udføre flere meningsmålinger i de sidste dage af kampagnen for at indfange holdningerne hos sene-besluttende vælgere, som viste sig så kritiske for Trumps sejr.

Franklin, Wisconsin-undersøgelsen, var en af ​​forfatterne til AAPORs obduktion. Den systematiske fiasko i snesevis af undersøgelser på tværs af flere stater tyder på, at hans meningsmålings fejltagelse skyldtes et reelt skift i løbets sidste dage snarere end en tidligere, mere grundlæggende fejl. Alligevel undrer han sig over, hvad der kunne have været: Hvad hvis vi havde målt os igennem weekenden før valget? Ville vi have fanget svinget mod Trump i disse data?

Kvanteundersøgelser

Men selvom fejl fra fire år siden kan rettes, kan der også dukke nye vanskeligheder op for 2020-cyklussen. Nogle kan endda være drevet af at forudsige sig selv. Nogle eksperter hævder, at valgforudsigelser kan have indflydelse på netop de resultater, de forsøger at forudsige.

UNDERSØGELSER ANVISER, AT NÅR FOLK TROR, AT UDVALGET AF ET VALG ER SIKKERT, ER DE MINDRE TIL AT STEMME.

Ifølge en nyere undersøgelse , et overvældende liberalt publikum tunede ind på de alt for selvsikre kvantitative prognoser i 2016. Tidligere offentliggjorte undersøgelser tyder på, at når folk tror, ​​at resultatet af et valg er sikkert, er der mindre sandsynlighed for, at de stemmer, især hvis sikkerheden er stablet til fordel for deres udvalgte kandidat. Så i en drejning af det, der er kendt som observatøreffekten - hvor blot det at se noget ændrer resultatet - kunne fodring af et stærkt demokratisk publikum med en stabil kost af overmodig meningsmåling som Wangs have reduceret valgdeltagelsen betydeligt. I betragtning af at løbet i det væsentlige blev afgjort med kun 107.000 stemmer i tre stater, kunne enhver reduktion have været vigtig.

Clinton tabte med så få stemmer, at det bestemt er muligt, at probabilistiske prognoser fik nok demokrater til at blive hjemme, til at det påvirkede resultatet, skrev Lelkes. Clinton selv foreslog det samme. Jeg ved ikke, hvordan vi nogensinde vil beregne, hvor mange mennesker troede, det var i posen, for procenterne blev ved med at blive kastet efter folk – 'Åh, hun har 88 procent chance for at vinde!' sagde hun i et interview i New York magasin.

Selvom valgprognosen ikke ændrede resultatet i 2016, kan det have mere indflydelse på fremtidige kampagner.

Hestevæddeløbsmålinger menes at øge politisk kynisme, påvirke valgdeltagelsen, øge polariseringen og sandsynligvis fortrænge information om væsentlige spørgsmål, skrev Lelkes. Det får folk til at se politik som et spil, hvor de går ud og roder efter deres hold, i stedet for at støtte kandidater baseret på deres politiske holdninger. Og hvis disse effekter er reelle, vil de sandsynligvis blive stærkere, efterhånden som flere prognoser sker.

Nogle prognosemænd, som Silver, har afvist denne bekymring. De hævder, at det ikke er deres job at fortælle folk, om de skal stemme eller ej - eller at fortælle medierne, hvad de skal dække. Andre tager dog Lelkes og hans kollegers råd mere alvorligt.

Vi eksperimenterer med måder at formidle usikkerhed på, der ikke vil afskrække folk [fra at stemme], siger The Economist's Morris. Men jeg tror, ​​at det stadig er et problem, som prognosemænd vil have ... Jeg ved ikke, hvordan vi kommer uden om nogle af de samfundsmæssige konsekvenser af vores arbejde.

Rob Arthur er en uafhængig journalist og datavidenskabskonsulent baseret i Chicago.

skjule