Kan du gøre AI mere retfærdig end en dommer? Spil vores retssal algoritme spil

Selman Design

Som barn udvikler du en følelse af, hvad retfærdighed betyder. Det er et koncept, du lærer tidligt, når du kommer overens med verden omkring dig. Noget føles enten retfærdigt, eller også gør det ikke.

Men i stigende grad er algoritmer begyndt at afgøre retfærdighed for os. De bestemmer, hvem der ser boligannoncer, hvem der bliver ansat eller fyret, og endda hvem der bliver sendt i fængsel. Derfor bliver de mennesker, der skaber dem - softwareingeniører - bedt om at formulere, hvad det vil sige at være fair i deres kode. Det er grunden til, at regulatorer over hele verden nu kæmper med et spørgsmål: Hvordan kan du matematisk kvantificere retfærdighed?

Denne historie forsøger at give et svar. Og for at gøre det har vi brug for din hjælp. Vi vil gennemgå en rigtig algoritme, en som bruges til at afgøre, hvem der bliver sendt i fængsel, og bede dig om at justere dens forskellige parametre for at gøre resultaterne mere retfærdige. (Bare rolig - dette involverer ikke at se på kode!)

Algoritmen vi undersøger er kendt som COMPAS, og det er et af flere forskellige risikovurderingsværktøjer, der bruges i det amerikanske strafferetssystem.

På et højt niveau formodes COMPAS at hjælpe dommere med at afgøre, om en tiltalt skal holdes i fængsel eller have lov til at blive ude, mens han afventer retssag. Den træner på historiske anklagede data for at finde sammenhænge mellem faktorer som en persons alder og historie med det strafferetlige system, og hvorvidt personen blev anholdt igen. Den bruger derefter korrelationerne til at forudsige sandsynligheden for, at en tiltalt vil blive anholdt for en ny forbrydelse i løbet af prøveperioden.1

Fodnote

• 1. Anholdelser vs. domme

  Denne proces er meget ufuldkommen. Værktøjerne bruger arrestationer som en proxy for forbrydelser, men der er faktisk store uoverensstemmelser mellem de to, fordi politiet har en historie med uforholdsmæssigt at arrestere raceminoriteter og manipulere data. Genanholdelser foretages desuden ofte for tekniske overtrædelser, såsom udeblivelse i retten, snarere end for gentagen kriminel aktivitet. I denne historie forsimpler vi for at undersøge, hvad der ville ske, hvis anholdelser svarede til faktiske forbrydelser.

  
  
  

Denne forudsigelse er kendt som den tiltaltes risikoscore, og den er ment som en anbefaling: højrisikoanklagede bør fængsles for at forhindre dem i at forårsage potentiel skade på samfundet; lavrisiko-tiltalte bør løslades før deres retssag. (I virkeligheden, dommere ikke altid følge disse anbefalinger, men risikovurderingerne forbliver indflydelsesrige.)

Tilhængere af risikovurderingsværktøjer hævder, at de gør det strafferetlige system mere retfærdigt. De erstatter dommernes intuition og skævhed – især racemæssig skævhed – med en tilsyneladende mere objektiv vurdering. Det kan de også erstatte praksis med at stille kaution i USA, hvilket kræver, at tiltalte betaler en sum penge for deres løsladelse. Kaution diskriminerer fattige amerikanere og rammer uforholdsmæssigt sorte tiltalte, som er overrepræsenteret i det strafferetlige system.

Fodnote

• 2. ProPublicas metode

  For tiltalte, der blev fængslet før retssagen, så ProPublica på, om de blev anholdt igen inden for to år efter deres løsladelse. Det brugte den derefter til at vurdere, om de tiltalte ville være blevet anholdt igen forud for retssagen, hvis de ikke var blevet fængslet.

  
  
  

Som krævet ved lov, inkluderer COMPAS ikke race i beregningen af ​​sine risikoscore. I 2016 blev en ProPublica undersøgelse hævdede, at værktøjet var stadig forudindtaget mod sorte. ProPublica fandt, at blandt tiltalte, der aldrig blev anholdt igen, var sorte tiltalte dobbelt så tilbøjelige til at være blevet stemplet som højrisiko af COMPAS.2

Så vores opgave er nu at forsøge at gøre COMPAS bedre. Parat?

Lad os starte med samme datasæt som ProPublica brugte i sin analyse. Det inkluderer hver anklaget scoret af COMPAS-algoritmen i Broward County, Florida, fra 2013 til 2014. I alt er det over 7.200 profiler med hver persons navn, alder, race og COMPAS-risikoscore, og bemærker, om personen i sidste ende blev anholdt igen enten efter blive løsladt eller fængslet forud for retssagen.

For at gøre dataene nemmere at visualisere har vi tilfældigt udtaget 500 sort/hvide tiltalte fra hele sættet.

Vi har repræsenteret hver anklaget som en prik.

Husk: alle disse prikker er personer, der er anklaget (men ikke dømt) for en forbrydelse. Nogle vil blive fængslet forud for retssagen; andre vil blive løsladt med det samme. Nogle vil fortsætte med at blive arresteret igen efter deres løsladelse; andre vil ikke. Vi ønsker at sammenligne to ting: forudsigelserne (hvilke tiltalte modtog høje kontra lave risikoscore) og resultaterne i den virkelige verden (hvilke tiltalte rent faktisk blev anholdt igen efter at være blevet løsladt).

COMPAS scorer tiltalte på en skala fra 1 til 10, hvor 1 svarer nogenlunde til 10 % chance for genanholdelse, 2 til 20 % og så videre.

Lad os se på, hvordan COMPAS scorede alle.

Fodnote

• 3. COMPAS’s scoringer

  COMPAS blev designet til at lave samlede forudsigelser om grupper af mennesker, der deler lignende karakteristika, snarere end forudsigelser om specifikke individer. Metodikken bag dens score og anbefalingerne til, hvordan de skal bruges, er mere komplicerede, end vi havde plads til at præsentere; du kan læse om dem på linket ovenfor.

Selvom COMPAS kun kan tilbyde en statistisk sandsynlighed for, at en tiltalt vil blive anholdt igen forud for retssagen, skal dommere selvfølgelig træffe en alt-eller-intet-beslutning: om den tiltalte skal løslades eller tilbageholdes. I forbindelse med denne historie vil vi bruge COMPAS' højrisikotærskel, en score på 7 eller højere, til at repræsentere en anbefaling om, at en tiltalt skal tilbageholdes.3

Herfra og ud er du ansvarlig. Din mission er at omdesigne den sidste fase af denne algoritme ved at finde et mere retfærdigt sted at indstille højrisikotærsklen.

Sådan kommer din tærskel til at se ud. Prøv at klikke på den og træk den rundt.

Så lad os først forestille os det bedste scenarie: alle de tiltalte, som din algoritme mærker med en høj risikoscore, fortsætter med at blive arresteret igen, og alle tiltalte, der får en lav risikoscore, bliver ikke. Nedenfor viser vores grafik, hvordan dette kan se ud. De udfyldte cirkler er tiltalte, der blev anholdt igen; de tomme cirkler er dem, der ikke var.

Flyt nu tærsklen for at gøre din algoritme så retfærdig som muligt.

(Med andre ord bør kun genanholdte tiltalte fængsles.)

Store! Det var nemt. Din tærskel skal være mellem 6 og 7. Ingen blev unødigt tilbageholdt, og ingen, der blev løsladt, blev derefter anholdt igen.

Men selvfølgelig sker dette ideelle scenario aldrig. Det er umuligt at forudsige resultatet perfekt for hver person. Det betyder, at de fyldte og tomme prikker ikke kan adskilles så pænt.

Så her er, hvem der rent faktisk bliver arresteret igen.

Flyt nu tærsklen igen for at gøre din algoritme så retfærdig som muligt.

(Tip: du vil maksimere dens nøjagtighed.)

Du vil bemærke, at uanset hvor du placerer tærsklen, er den aldrig perfekt: vi fængsler altid nogle tiltalte, som ikke bliver arresteret igen (tomme prikker til højre for tærsklen) og frigiver nogle tiltalte, som bliver arresteret igen (udfyldte prikker til til venstre for tærskel). Dette er en afvejning, som vores strafferetssystem altid har håndteret, og det er ikke anderledes, når vi bruger en algoritme.

For at gøre disse afvejninger mere klare, lad os se procentdelen af ​​forkerte forudsigelser, COMPAS laver på hver side af tærsklen, i stedet for blot at måle den samlede nøjagtighed. Nu vil vi være i stand til eksplicit at se, om vores tærskel favoriserer unødigt at holde folk i fængsel eller løslade folk, der derefter bliver arresteret igen.4 Bemærk, at COMPAS' standardtærskel favoriserer sidstnævnte.

Fodnote

• 4. Tekniske definitioner

  Disse to fejlprocenter er også kendt som den falske negative sats (som vi har mærket frigivet, men anholdt igen) og den falske positive sats (som vi har mærket unødvendigt fængslet).

Hvordan skal vi retfærdigt balancere denne afvejning? Der er ikke noget universelt svar, men i 1760'erne skrev den engelske dommer William Blackstone: Det er bedre, at ti skyldige undslipper, end at én uskyldig lider.

Blackstones forhold er stadig meget indflydelsesrig i USA i dag. Så lad os bruge det til inspiration.

Flyt tærsklen til hvor den frigivne, men genanholdte procentdel er omkring 10 gange den unødvendigt fængslede procentdel.

Du kan allerede se to problemer med at bruge en algoritme som COMPAS. Den første er, at bedre forudsigelse altid kan hjælpe med at reducere fejlrater over hele linjen, men det kan aldrig eliminere dem helt. Uanset hvor meget data vi indsamler, kan to personer, der ser ens ud i forhold til algoritmen, altid ende med at træffe forskellige valg.

Det andet problem er, at selvom du følger COMPAS’ anbefalinger konsekvent, skal nogen – et menneske – først beslutte, hvor højrisikotærsklen skal ligge, enten ved at bruge Blackstones ratio eller noget andet. Det afhænger af alle slags overvejelser – politiske, økonomiske og sociale.

Nu kommer vi til et tredje problem. Det er her, vores udforskning af retfærdighed begynder at blive interessant. Hvordan sammenligner fejlprocenterne på tværs af forskellige grupper? Er der visse typer mennesker, der er mere tilbøjelige til at blive unødvendigt tilbageholdt?

Lad os se, hvordan vores data ser ud, når vi tager de tiltaltes race i betragtning.

Flyt nu hver tærskel for at se, hvordan den påvirker sorte og hvide tiltalte forskelligt.

Race er et eksempel på en beskyttet klasse i USA, hvilket betyder, at diskrimination på det grundlag er ulovlig. Andre beskyttede klasser omfatter køn, alder og handicap.

Nu hvor vi har adskilt sorte og hvide tiltalte, har vi opdaget, at selvom race ikke bruges til at beregne COMPAS-risikoscorerne, har scorerne forskellige fejlprocenter for de to grupper. Ved standard COMPAS-grænsen mellem 7 og 8 er 16 % af de sorte tiltalte, der ikke bliver arresteret igen, blevet unødigt fængslet, mens det samme gælder for kun 7 % af de hvide tiltalte. Det virker slet ikke fair! Dette er præcis, hvad ProPublica fremhævet i sin undersøgelse.

Okay, så lad os ordne dette.

Flyt hver tærskel, så hvide og sorte tiltalte unødigt fængsles med nogenlunde samme hastighed.

(Der er en række løsninger. Vi har valgt en, men du kan prøve at finde andre.)

Vi forsøgte at nå Blackstones forhold igen, så vi nåede frem til følgende løsning: hvide tiltalte har en tærskel mellem 6 og 7, mens sorte tiltalte har en tærskel mellem 8 og 9. Nu er det ca. 9 % af både sorte og hvide tiltalte, der har De, der ikke bliver arresteret igen, bliver unødigt fængslet, mens 75 % af dem, der bliver arresteret, bliver arresteret igen efter ikke at have tilbragt nogen tid i fængsel. Godt arbejde! Din algoritme virker meget mere retfærdig end COMPAS nu.

Men vent – ​​er det? I processen med at matche fejlraterne mellem løbene mistede vi noget vigtigt: Vores tærskler for hver gruppe er forskellige steder, så vores risikoscore betyder forskellige ting for hvide og sorte tiltalte.

Hvide tiltalte bliver fængslet for en risikoscore på 7, men sorte tiltalte bliver løsladt for samme score. Dette virker endnu en gang ikke rimeligt. To personer med samme risikoscore har samme sandsynlighed for at blive anholdt igen, så burde de ikke modtage den samme behandling? I USA kan brug af forskellige tærskler for forskellige racer også skabe komplicerede juridiske forhold problemer med det 14. ændringsforslag, forfatningens klausul om lige beskyttelse.

Så lad os prøve dette en gang til med en enkelt tærskel, der deles mellem begge grupper.

Flyt tærsklen igen, så hvide og sorte tiltalte unødigt fængsles i samme takt.

Hvis du bliver frustreret, er der god grund. Der er ingen løsning.

Vi gav dig to definitioner af retfærdighed: Hold fejlprocenterne sammenlignelige mellem grupper, og behandl personer med samme risikoscore på samme måde. Begge disse definitioner er fuldstændigt forsvarlige! Men at tilfredsstille begge dele på samme tid er umuligt.

Årsagen er, at sorte og hvide tiltalte bliver anholdt igen med forskellig hastighed. Mens 52 % af de sorte tiltalte blev anholdt igen i vores Broward County-data, var kun 39 % af de hvide tiltalte det. Der er en lignende forskel i mange jurisdiktioner på tværs af USA, delvist på grund af landets historie med politi uforholdsmæssigt målrettet mod minoriteter (som vi tidligere nævnte).

Forudsigelser afspejler de data, der er brugt til at lave dem - uanset om de er algoritmer eller ej. Hvis sorte anklagede bliver anholdt med en højere hastighed end hvide anklagede i den virkelige verden, vil de også have en højere frekvens af forudset anholdelse. Det betyder, at de også vil have højere risikoscore i gennemsnit, og en større procentdel af dem vil blive stemplet som højrisiko- både korrekt og forkert . Det er rigtigt uanset hvilken algoritme bruges, så længe det er designet således, at hver risikoscore betyder det samme uanset race.

Denne mærkelige konflikt mellem retfærdighedsdefinitioner er ikke kun begrænset til risikovurderingsalgoritmer i det strafferetlige system. De samme slags paradokser gælder for kreditscoring, forsikring og ansættelsesalgoritmer. I enhver sammenhæng, hvor et automatiseret beslutningssystem skal allokere ressourcer eller straffe mellem flere grupper, der har forskellige resultater, vil forskellige definitioner af retfærdighed uundgåeligt vise sig at være gensidigt udelukkende.

Der er ingen algoritme, der kan løse dette; dette er ikke engang en algoritmisk problem, virkelig. Menneskelige dommere er i øjeblikket lave de samme slags tvungne afvejninger - og har gjort det gennem historien.

Men her er hvad en algoritme har ændret. Selvom dommere måske ikke altid er gennemsigtige med hensyn til, hvordan de vælger mellem forskellige begreber om retfærdighed, kan folk anfægte deres beslutninger. Derimod er COMPAS, som er lavet af det private firma Northpointe, en forretningshemmelighed, der ikke kan anmeldes eller afhøres offentligt. Tiltalte kan ikke længere stille spørgsmålstegn ved dets resultater, og offentlige myndigheder mister evnen til at granske beslutningsprocessen. Der er ikke længere offentlig ansvarlighed.

Så hvad skal tilsynsmyndighederne gøre? Den foreslåede Algorithmic Accountability Act fra 2019 er et eksempel på en god start, siger Andrew Selbst, juraprofessor ved University of California, som har specialiseret sig i AI og jura. Lovforslaget, der søger at regulere skævhed i automatiserede beslutningssystemer, har to bemærkelsesværdige funktioner, der tjener som skabelon for fremtidig lovgivning. For det første ville det kræve, at virksomheder reviderer deres maskinlæringssystemer for bias og diskrimination i en konsekvensanalyse. For det andet specificerer den ikke en definition af retfærdighed.

Med en konsekvensanalyse er man meget gennemsigtig omkring, hvordan man som virksomhed griber fairness-spørgsmålet an, siger Selbst. Det bringer offentlig ansvarlighed tilbage i debatten. Fordi retfærdighed betyder forskellige ting i forskellige sammenhænge, ​​tilføjer han, at undgå en specifik definition giver mulighed for den fleksibilitet.

Men om algoritmer skal bruges til at afgøre retfærdighed i første omgang er et kompliceret spørgsmål. Maskinlæringsalgoritmer trænes på data produceret gennem historier om udelukkelse og diskrimination, skriver Ruha Benjamin, lektor ved Princeton University, i sin bog Race After Technology . Risikovurderingsværktøjer er ikke anderledes. Det større spørgsmål om at bruge dem - eller enhver algoritme, der bruges til at rangere folk - er, om de reducerer eksisterende uligheder eller gør dem værre.

Selbst anbefaler, at man går frem med forsigtighed: Hver gang man forvandler filosofiske forestillinger om retfærdighed til matematiske udtryk, mister de deres nuancer, deres fleksibilitet, deres formbarhed, siger han. Det er ikke til at sige, at nogle af effektiviteten ved at gøre det i sidste ende ikke vil være umagen værd. Jeg har bare mine tvivl.

Ord og kode af Karen Hao og Jonathan Stray. Designrådgivning fra Emily Luong og Emily Caulfield. Redigering af Niall Firth og Gideon Lichfield. Særlig tak til Rashida Richardson fra AI Now, Mutale Nkonde fra Berkman Klein Center, og William Isaac fra DeepMind for deres gennemgang og konsultation.

Rettelse: En tidligere version af artiklen linkede til information om et risikovurderingsværktøj forskelligt fra COMPAS. Det er blevet fjernet for at undgå forvirring.

skjule