211service.com
Benfords lov og kunsten at lykkes i multiple choice-tests
Tilbage i 1930'erne opdagede den amerikanske fysiker Frank Benford, at det første ciffer i visse tallister var meget mere sandsynligt at være et 1 end et 9. Han testede denne idé på en række datasæt såsom overfladearealet af floder, en liste over fysiske konstanter og endda adresser på de første 342 poster i American Men of Science.
I hvert tilfælde fandt han det samme mønster. At tallet 1 er det første ciffer 30 procent af tiden, tallet 2 er det første ciffer 18 procent af tiden, tallet 3 er første 13 procent af tiden og så videre indtil tallet 9 som er først kun 5 procent af tiden.
Han fortsatte med at foreslå Benfords lov: at fordelingen af første tal i mange, men ikke alle, datasæt følger det samme logaritmiske mønster. Det viser sig, at denne egenskab er sand for mange datasæt, der involverer fysiske mængder, men er ikke sand for tilfældigt genererede tal, hvor fordelingen af de første cifre er ensartet.
Nu, 60 år senere, er Benfords lov berømt. Dens bedst kendte applikation er at afsløre svindel. Det er muligt, fordi fordelingen af de første cifre i en virksomheds regnskaber viser sig at følge Benfords lov. Så enhver afvigelse fra dette er et godt bevis på, at nogen har lavet bøgerne. Og det har ført til forskellige svindleres fald.
Men det rejser et interessant spørgsmål: Hvor ellers kan Benfords lov bruges?
I dag har Aaron Slepkov ved Trent University i Peterborough, Canada, og et par venner fremsat et forslag. De påpeger, at svarene på multiple choice eksamensopgaver i fysik skal følge Benfords lov. Men hvis de forkerte svar vælges tilfældigt, vil de ikke følge Benfords lov.
Så kan en initiativrig studerende med en forståelse, hvis Benfords lov, men ringe forståelse af fysik, få en fordel?
For at finde ud af det simulerede Slepkov og co en sådan multiple choice-eksamen, der involverede 5000 falske spørgsmål. Til de rigtige svar brugte de et datasæt med tal taget fra svarene på rigtige fysikspørgsmål. Men de tog de forkerte svar fra et datasæt af tilfældige tal, hvor de første cifre er ensartet fordelt (dvs. det første ciffer er lige så sandsynligt at være et hvilket som helst af cifrene fra 1 til 9).
Den bedste strategi i sådan en multiple choice-test er at vælge svaret med det laveste første ciffer. Og når to eller flere svar har det samme laveste ciffer, så vælg.
Og det var, hvad Slepkov og co gjorde ved at tage testene. Resultaterne er afgørende. I en multiple choice-test, der involverede 3 mulige svar, gav denne strategi en score på 51 procent. Det er et klart bestået, selvom svarene blev valgt uden kendskab til den fysik, der testes.
I en vis forstand er det ikke rigtig overraskende. Benfords lov indebærer, at chancerne for, at det første ciffer er et 1, 2 eller 3, er større end 50 procent, og dette giver en klar bias for nogen, der ved.
Men virker denne strategi til rigtige eksamener? Slepkov og co testede det på et datasæt af velkendte fysik multiple choice-eksamener, og deres resultater giver en overraskelse.
Den strategi, som Benfords lov foreslår, giver ingen som helst fordel. De fandt ud af, at det var umuligt at bestå en fysikeksamen på denne måde.
Hvorfor? Slepkov og co kiggede nærmere på de rigtige svar og dummy-svarene i disse papirer og fandt noget overraskende. Mens de rigtige svar følger Benfords lov, gør de forkerte svar det også. Så der er ingen forskel i fordelingen af de første cifre, som en initiativrig elev kan udnytte.
Præcis hvorfor de forkerte svar følger Benfords lov er ikke klart. Det er åbenbart ikke tilfældige tal, så hvordan kan de blive valgt? Slepkov og co diskuterer en række muligheder, måske den mest oplagte er, at de er svar på andre spørgsmål og det samme er fysiske størrelser. Men der er også andre muligheder.
Det vil være en skuffelse for de legioner af fysikstuderende, der læser dette, og som håbede på at klare sig med lidt eller ingen viden om deres emne.
For disse elever giver Slepkov og co en flig af håb. De påpeger, at chancerne for et korrekt svar på et fysikspørgsmål, der starter med cifrene 1, 2 eller 3, er over 50 pct. Men ligeså er chancerne for, at svaret starter med 7, 8 eller 9, kun 15 procent.
Så de slutter med dette:
Et ubetydeligt råd, vi kan give den testkloge studerende, er som følger: Hvis du ved afslutningen af en lang konstrueret-svar-undersøgelse har lidt tid til at dobbelttjekke svarene på alle spørgsmålene, så brug tid på dem. spørgsmål, der gav endelige svar, der har de største ledende cifre; spørgsmål forventes kun at have svar med ledende cifre 7, 8 eller 9 15 % af tiden.
Held og lykke!
Ref: arxiv.org/abs/1311.4787v1 : Benfords lov: Lærebogsøvelser og multiple-choice testbanker