Den britiske eksamensdebacle minder os om, at algoritmer ikke kan reparere ødelagte systemer

Fru Tech | AP, Getty

Da Storbritannien for første gang satte sig for at finde et alternativ til udskolingskvalifikationer, virkede præmissen helt rimelig. Covid-19 havde afsporet enhver mulighed for studerende til at tage eksamenerne personligt, men regeringen ønskede stadig en måde at vurdere dem med henblik på beslutninger om optagelse på universitetet.

Den vigtigste af dens bekymringer var et spørgsmål om retfærdighed. Lærerne havde allerede forudsagt deres elevers eksamensresultater, men tidligere undersøgelser havde vist, at disse kunne være forudindtaget på baggrund af alder, køn og etnicitet. Efter en række ekspertpaneler og konsultationer , Ofqual, Office of Qualifications and Examinations Regulation, vendte sig til en algoritme. Derfra gik det grueligt galt.

Næsten 40 % af eleverne endte med at modtage eksamensresultater nedgraderet fra deres læreres forudsigelser, hvilket truede med at koste dem deres universitetspladser. Analyse af algoritmen afslørede også, at den havde uforholdsmæssigt skadet elever fra arbejderklassen og dårligt stillede samfund og oppustet antallet af elever fra private skoler. Den 16. august sang hundredvis Fuck algoritmen foran det britiske Department of Education-bygning i London for at protestere mod resultaterne. Næste dag havde Ofqual omgjorde sin beslutning . Eleverne vil nu blive tildelt enten deres lærers forudsagte score eller algoritmens - alt efter hvad der er højere.

Debaklet føles som et lærebogseksempel på algoritmisk diskrimination . Dem, der har siden dissekeret algoritmen har påpeget, hvor forudsigeligt det var, at det ville gå skævt; det blev til dels trænet ikke kun på hver enkelt elevs tidligere akademiske præstationer, men også på den tidligere optagelsesprøve på elevens skole. Tilgangen kunne kun have ført til straf af udestående outliers til fordel for et konstant gennemsnit.

Men roden til problemet stikker dybere end dårlige data eller dårligt algoritmisk design. De mere grundlæggende fejl blev begået Før Ofqual valgte endda at forfølge en algoritme. I bund og grund mistede regulatoren det ultimative mål af syne: at hjælpe studerende med at skifte til universitetet i tider med angst. I denne hidtil usete situation burde eksamenssystemet være blevet fuldstændig nytænket.

Der var bare et spektakulært svigt af fantasien, siger Hye Jung Han, en forsker ved Human Rights Watch i USA, som fokuserer på børns rettigheder og teknologi. De satte bare ikke spørgsmålstegn ved selve præmissen for så mange af deres processer, selv når de burde have gjort det.

På et grundlæggende niveau stod Ofqual over for to potentielle mål, efter at eksamener blev aflyst. Den første var at undgå karakterinflation og standardisere scoringerne; den anden var at vurdere studerende så nøjagtigt som muligt på en måde, der var nyttig for universitetsoptagelser. I henhold til et direktiv fra udenrigsministeren prioriterede den det første mål. Jeg tror virkelig, det var det øjeblik, der var problemet, siger Hannah Fry, der er lektor ved University College London og forfatter til Hello World: How to Be Human in the Age of the Machine . De optimerede til det forkerte. Så er det dybest set ligegyldigt, hvad algoritmen er - den ville aldrig blive perfekt.

Der var bare et spektakulært svigt af fantasien.

Hye Jung Han

Målet formede fuldstændig måden Ofqual gik til at forfølge problemet på. Behovet for standardisering tilsidesatte alt andet. Tilsynsmyndigheden valgte derefter logisk et af de bedste standardiseringsværktøjer, en statistisk model, til at forudsige en fordeling af adgangsprøvescore for 2020, der ville matche fordelingen fra 2019.

Havde Ofqual valgt det andet mål, ville tingene være gået helt anderledes. Det ville sandsynligvis have skrottet algoritmen og arbejdet sammen med universiteter for at ændre, hvordan eksamenskaraktererne vægtes i deres optagelsesprocesser. Hvis de bare kiggede et skridt forbi deres umiddelbare problem og så på, hvad formålet med karakterer er – at gå på universitetet, for at kunne få job – kunne de fleksibelt have arbejdet med universiteter og med arbejdspladser for at sige: 'Hej, i år karakterer kommer til at se anderledes ud, hvilket betyder, at alle vigtige beslutninger, der traditionelt blev truffet på baggrund af karakterer, også skal være fleksible og skal ændres, siger Han.

Ved at fiksere på den opfattede retfærdighed af en algoritmisk løsning, blindede Ofqual sig selv for de iøjnefaldende uligheder i det overordnede system. Der er en iboende uretfærdighed i at definere problemet med at forudsige elevernes karakterer, som om en pandemi ikke var sket, siger Han. Den ignorerer faktisk, hvad vi allerede ved, nemlig at pandemien afslørede alle disse digitale kløfter i uddannelse.

Ofquals fiaskoer er ikke unikke. I en rapport offentliggjort i sidste uge af Oxford Internet Institute, fandt forskere ud af, at en af ​​de mest almindelige fælder, organisationer falder i, når de implementerer algoritmer, er troen på, at de vil løse virkelig komplekse strukturelle problemer. Disse projekter egner sig til en slags magisk tænkning, siger Gina Neff, lektor ved instituttet, som var medforfatter til rapporten. På en eller anden måde vil algoritmen simpelthen vaske enhver lærerbias væk, vaske ethvert forsøg på at snyde eller spille systemet væk.

Jeg tror, ​​det er første gang, at en hel nation har følt uretfærdigheden ved en algoritme samtidigt.

Hannah Fry

Men sandheden er, at algoritmer ikke kan reparere ødelagte systemer. De arver fejlene i de systemer, de er placeret i. I dette tilfælde bar de studerende og deres fremtid i sidste ende hovedparten af ​​skaden. Jeg tror, ​​det er første gang, at en hel nation har følt uretfærdigheden ved en algoritme samtidigt, siger Fry.

Fry, Neff og Han bekymrer sig alle om, at dette ikke vil være enden på algoritmiske fejl. På trods af den nye offentlige bevidsthed om problemerne, er det helt ærligt virkelig svært at designe og implementere retfærdige og gavnlige algoritmer.

Ikke desto mindre opfordrer de organisationer til at få mest muligt ud af erfaringerne fra denne erfaring. Vend først tilbage til målet og tænk kritisk over, om det er det rigtige. For det andet skal du evaluere de strukturelle problemer, der skal løses for at nå målet. (Da regeringen aflyste eksamen i marts, skulle det have været signalet til at komme med en anden strategi for at give en meget større økologi af beslutningstagere mulighed for retfærdigt at vurdere elevernes præstationer, siger Neff.)

Til sidst skal du vælge en løsning, der er nem at forstå, implementere og bestride, især i tider med usikkerhed. I dette tilfælde, siger Fry, betyder det, at man giver afkald på algoritmen til fordel for lærer-forudsagte scores: Jeg siger ikke, at det er perfekt, siger hun, men det er i det mindste et enkelt og gennemsigtigt system.

skjule