211service.com
Inspicering af algoritmer for bias
Domstole, banker og andre institutioner bruger automatiserede dataanalysesystemer til at træffe beslutninger om dit liv. Lad os ikke overlade det til algoritmeproducenterne at beslutte, om de gør det korrekt. 12. juni 2017
Paul Delcan
Det var en slående historie. Machine Bias, overskriften læst og teaseren udråbt : Der er software, der bruges over hele landet til at forudsige fremtidige kriminelle. Og det er forudindtaget mod sorte.
ProPublica, en Pulitzer-prisvindende nonprofit nyhedsorganisation, havde analyseret risikovurderingssoftware kendt som COMPAS. Det bliver brugt til at forudsige, hvilke kriminelle der med størst sandsynlighed vil begå gentagelser. Styret af sådanne prognoser træffer dommere i retssale i hele USA beslutninger om fremtiden for tiltalte og dømte og bestemmer alt fra kautionsbeløb til domme. Når ProPublica sammenlignede COMPAS’ risikovurderinger for mere end 10.000 mennesker arresteret i et amt i Florida med, hvor ofte disse personer rent faktisk fortsatte med at begå gentagelser, opdagede den, at algoritmen korrekt forudsagde recidiv for sorte og hvide tiltalte i nogenlunde samme hastighed. Men når algoritmen var forkert, var den forkert på forskellige måder for sorte og hvide. Specifikt er der næsten dobbelt så stor sandsynlighed for, at sorte som hvide bliver stemplet som en højere risiko, men faktisk ikke gentager sig. Og COMPAS havde en tendens til at begå den modsatte fejl med hvide: De er meget mere tilbøjelige end sorte til at blive stemplet med lavere risiko, men fortsætter med at begå andre forbrydelser.
Ting gennemgået
Maskinskævhed
ProPublica, 23. maj 2016
COMPAS Risk Scales: Demonstrerer nøjagtighed og forudsigelig paritet
Northpointe, 8. juli 2016
Teknisk svar til Northpointe
ProPublica, 29. juli 2016
Falske positive, falske negative og falske analyser: En replik til 'Machine Bias'
Anthony Flores, Christopher Lowenkamp og Kristin Bechtel
10. august 2016
Denne historie var en del af vores juli 2017-udgave
- Se resten af problemet
- Abonner
Hvorvidt det er hensigtsmæssigt at bruge systemer som COMPAS er et spørgsmål, der går ud over racemæssig skævhed. Den amerikanske højesteret vil måske snart tage sagen op om en dømt i Wisconsin, der siger, at hans ret til retfærdig rettergang blev krænket, da dommeren, der dømte ham, konsulterede COMPAS, fordi systemets funktion var uigennemsigtig for den tiltalte. Potentielle problemer med andre automatiserede beslutningstagningssystemer (ADM) eksisterer også uden for retssystemet. På baggrund af online personlighedstests er ADM’ere med til at afgøre, om nogen er den rette til et job. Kreditvurderingsalgoritmer spiller en enorm rolle i, om du får et realkreditlån, et kreditkort eller endda de mest omkostningseffektive mobiltelefontilbud.
Det er ikke nødvendigvis en dårlig idé at bruge risikovurderingssystemer som COMPAS. I mange tilfælde kan ADM-systemer øge retfærdigheden. Menneskelig beslutningstagning er til tider så usammenhængende, at den kræver tilsyn for at bringe den i overensstemmelse med vores retfærdighedsstandarder. Som en specifikt foruroligende undersøgelse viste, var prøveløsladelsesnævn mere tilbøjelige til at befri dømte hvis dommerne lige havde holdt spisepause. Dette var sandsynligvis aldrig faldet dommerne ind. Et ADM-system kunne opdage sådanne uoverensstemmelser og forbedre processen.
Men ofte ved vi ikke nok om, hvordan ADM-systemer fungerer til at vide, om de er mere retfærdige, end mennesker ville være alene. Til dels fordi systemerne træffer valg på baggrund af underliggende antagelser, der ikke er klare selv for systemernes designere, er det ikke nødvendigvis muligt at afgøre, hvilke algoritmer der er skæve, og hvilke der ikke er. Og selv når svaret virker klart, som i ProPublicas resultater om COMPAS, er sandheden nogle gange mere kompliceret.
Lovgivere, domstolene og en informeret offentlighed bør beslutte, hvad vi ønsker, at algoritmer skal prioritere.
Hvad skal vi gøre for at få bedre styr på ADM'er? Demokratiske samfund har brug for mere tilsyn med sådanne systemer, end de har nu. AlgorithmWatch, en Berlin-baseret nonprofit fortalervirksomhed, som jeg stiftede sammen med en computerforsker, en juridisk filosof og en medjournalist, har til formål at hjælpe folk med at forstå virkningerne af sådanne systemer. Det faktum, at de fleste ADM-procedurer er sorte bokse for de mennesker, der er berørt af dem, er ikke en naturlov. Det må slutte, slår vi fast i vores manifest . Alligevel er vores holdning til spørgsmålet anderledes end mange kritikeres – fordi vores frygt er, at teknologien kan blive dæmoniseret ufortjent. Det, der er vigtigt, er, at samfund, og ikke kun algoritmeproducenter, foretager de værdidomme, der indgår i ADM'er.
Foranstaltninger til retfærdighed
COMPAS bestemmer sine risikoscores ud fra svar til en spørgeskema der udforsker en tiltaltes kriminelle historie og holdninger til kriminalitet. Giver dette partiske resultater?
Efter ProPublicas undersøgelse bestridte Northpointe, firmaet, der udviklede COMPAS, historien og hævdede, at journalisterne fejlfortolkede dataene. Det samme gjorde tre kriminalretlige forskere , herunder en fra en retsreformorganisation. Hvem har ret – journalisterne eller forskerne? Krishna Gummadi, leder af Networked Systems Research Group ved Max Planck Institute for Software Systems i Saarbrücken, Tyskland, giver et overraskende svar: det er de alle.
Gummadi, der i vid udstrækning har undersøgt retfærdighed i algoritmer, siger, at ProPublicas og Northpointes resultater ikke modsiger hinanden. De adskiller sig, fordi de bruger forskellige mål for retfærdighed.
Hvis de bruges rigtigt, giver de strafferetlige algoritmer chancen for en generation, og måske en levetid, til at reformere strafudmålingen og afvikle massefængsling på en videnskabelig måde.
Forestil dig, at du designer et system til at forudsige, hvilke kriminelle der vil begå gentagelser. En mulighed er at optimere for ægte positive, hvilket betyder, at du vil identificere så mange mennesker som muligt, der er i høj risiko for at begå en anden forbrydelse. Et problem med denne tilgang er, at den har en tendens til at øge antallet af falske positive: mennesker, der uretmæssigt vil blive klassificeret som sandsynlige genforbrydere. Skiven kan justeres til at levere så få falske positiver som muligt, men det har en tendens til at skabe flere falske negativer: Sandsynlige gensynsmænd, der slipper igennem og får en mere mild behandling end berettiget.
At hæve forekomsten af sande positive eller sænke de falske positive er begge måder at forbedre et statistisk mål kendt som positiv prædiktiv værdi eller PPV. Det er procentdelen af alle positive, der er sande.
Som Gummadi påpeger, sammenlignede ProPublica falske positive satser og falske negative satser for sorte og hvide og fandt, at de var skæve til fordel for hvide. Northpointe sammenlignede derimod PPV'erne for forskellige racer og fandt, at de var ens. Til dels fordi recidivraterne for sorte og hvide faktisk er forskellige, er det matematisk sandsynligt, at de positive forudsigende værdier for personer i hver gruppe vil være ens, mens antallet af falske negative ikke er det.
En ting, dette fortæller os, er, at det bredere samfund – lovgivere, domstolene, en informeret offentlighed – bør beslutte, hvad vi ønsker, at sådanne algoritmer skal prioritere. Er vi primært interesserede i at tage så få chancer som muligt for, at nogen springer over kaution eller gentager os? Hvilke afvejninger skal vi foretage for at sikre retfærdighed og sænke de massive sociale omkostninger ved fængsling?
Uanset hvilken måde urskiverne er indstillet på, vil enhver algoritme have skævheder - det er trods alt at lave en forudsigelse baseret på generaliseret statistik, ikke på nogens individuelle situation. Men vi kan stadig bruge sådanne systemer til at vejlede beslutninger, der er klogere og mere retfærdige end dem, mennesker plejer at træffe på egen hånd.
Kontroversen omkring New York Police Departments stop-and-frisk-praksis er med til at vise hvorfor. Mellem januar 2004 og juni 2012 gennemførte politiet i New York 4,4 millioner stop under et program, der gjorde det muligt for betjente midlertidigt at tilbageholde, afhøre og ransage folk på gaden for våben og andet smuglergods. Men faktisk resulterede 88 procent af de 4,4 millioner stop i ingen yderligere handling - hvilket betyder, at et stort flertal af de stoppede ikke gjorde noget forkert, New York Times sagde i en leder, der afviser praksis. Hvad mere er: I omkring 83 procent af tilfældene var den person, der blev stoppet, sort eller latinamerikansk, selvom de to grupper tegnede sig for lidt over halvdelen af befolkningen. Dette eksempel på menneskelig bias, belyst gennem dataanalyse, er en påmindelse om, at ADM-systemer kan spille en positiv rolle i strafferetsplejen. Brugt rigtigt giver de chancen for en generation, og måske en levetid, til at reformere strafudmålingen og afvikle massefængsling på en videnskabelig måde, ifølge Anthony Flores, Christopher Lowenkamp og Kristin Bechtel, tre forskere, der fandt fejl i den metodologi, som ProPublica bruges til at analysere COMPAS. Forfatterne bekymrer sig om, at denne mulighed forsvinder på grund af misinformation og misforståelser om teknologien.
Men hvis vi accepterer, at algoritmer kan gøre livet mere retfærdigt, hvis de er godt designet, hvordan kan vi så vide, om de er designet sådan?
Demokratiske samfund burde arbejde nu for at bestemme, hvor meget gennemsigtighed de forventer af ADM-systemer. Har vi brug for nye regler for softwaren for at sikre, at den kan inspiceres korrekt? Lovgivere, dommere og offentligheden bør have indflydelse på, hvilke foranstaltninger for retfærdighed, der bliver prioriteret af algoritmer. Men hvis algoritmerne ikke faktisk afspejler disse værdidomme, hvem vil så blive holdt ansvarlig?
Det er de svære spørgsmål, vi skal besvare, hvis vi forventer at drage fordel af fremskridt inden for algoritmisk teknologi.
Matthias Spielkamp er administrerende direktør for AlgorithmWatch, en fortalergruppe, der analyserer risici og muligheder ved automatiseret beslutningstagning.