AI sender folk i fængsel - og tager fejl

Ian Waldie/Getty Images

AI ser måske ikke ud til at have en stor personlig indflydelse, hvis din hyppigste børste med maskinlæringsalgoritmer er via Facebooks nyhedsfeed eller Googles søgerangeringer. Men ved Data for Black Lives konference i sidste weekend, satte teknologer, juridiske eksperter og samfundsaktivister tingene i perspektiv med en diskussion om USAs strafferetssystem. Der kan en algoritme bestemme dit livs bane.

USA fængsler flere mennesker end noget andet land i verden. Ved udgangen af ​​2016 var næsten 2,2 millioner voksne blev tilbageholdt i fængsler eller fængsler, og yderligere 4,5 millioner var i andre kriminalforsorger. Sagt på en anden måde var 1 ud af 38 voksne amerikanere under en form for kriminalforsorgsovervågning. Det mareridtsagtige i denne situation er et af de få spørgsmål, der forener politikere på begge sider af gangen.

Under et enormt pres for at reducere antallet af fængsler uden at risikere en stigning i kriminalitet, har retssale over hele USA vendt sig til automatiserede værktøjer i forsøg på at blande tiltalte gennem retssystemet så effektivt og sikkert som muligt. Det er her AI-delen af ​​vores historie begynder.

Politiafdelinger bruger forudsigende algoritmer til at planlægge strategier om, hvor de skal sende deres rækker. Retshåndhævende myndigheder bruger ansigtsgenkendelsessystemer til at hjælpe med at identificere mistænkte. Denne praksis har fået velfortjent undersøgelse for, om de rent faktisk forbedrer sikkerheden eller blot viderefører eksisterende uligheder. Forskere og borgerrettighedsforkæmpere har for eksempel gentagne gange demonstreret, at ansigtsgenkendelsessystemer kan fejle spektakulært, især for mørkhudede individer - selv ved at forveksle medlemmer af Kongressen for dømte kriminelle.

Men det langt mest kontroversielle værktøj kommer efter politiets anholdelse. Sig hej til kriminelle risikovurderingsalgoritmer.

Risikovurderingsværktøjer er designet til at gøre én ting: tage detaljerne i en tiltaltes profil ind og spytte en recidivscore ud - et enkelt tal, der estimerer sandsynligheden for, at han eller hun vil gentage krænkelsen. En dommer indregner dernæst i et utal af afgørelser, der kan afgøre, hvilken type rehabiliteringsydelser bestemte tiltalte skal modtage, om de skal holdes i fængsel før retssagen, og hvor strenge deres straffe skal være. En lav score baner vejen for en venligere skæbne. En høj score gør præcis det modsatte.

Logikken for at bruge sådanne algoritmiske værktøjer er, at hvis du præcist kan forudsige kriminel adfærd, kan du allokere ressourcer i overensstemmelse hermed, hvad enten det er til rehabilitering eller til fængselsdomme. I teorien reducerer det også enhver skævhed, der påvirker processen, fordi dommere træffer beslutninger på grundlag af datadrevne anbefalinger og ikke deres mavefornemmelse.

Du har muligvis allerede opdaget problemet. Moderne risikovurderingsværktøjer er ofte drevet af algoritmer trænet på historiske kriminalitetsdata.

Som vi har dækket før, bruger maskinlæringsalgoritmer statistik til at finde mønstre i data. Så hvis du fodrer den med historiske kriminalitetsdata, vil den udvælge de mønstre, der er forbundet med kriminalitet. Men disse mønstre er statistiske sammenhænge - ikke nær det samme som årsagssammenhænge . Hvis en algoritme for eksempel fandt ud af, at lav indkomst var korreleret med høj recidiv, ville det ikke gøre dig klogere på, om lav indkomst faktisk forårsagede kriminalitet. Men det er netop, hvad risikovurderingsværktøjer gør: De omdanner korrelativ indsigt til kausale scoringsmekanismer.

Nu er befolkninger, der historisk set har været uforholdsmæssigt målrettet af retshåndhævelse - især lavindkomst- og minoritetssamfund - i risiko for at blive slået med høje recidivscore. Som et resultat heraf kunne algoritmen forstærke og opretholde indlejrede skævheder og generere endnu mere bias-plettede data for at fodre en ond cirkel. Fordi de fleste risikovurderingsalgoritmer er proprietære, er det også umuligt at afhøre deres beslutninger eller holde dem ansvarlige.

Debatten om disse værktøjer raser stadig. Sidste juli, mere end 100 borgerrettigheds- og samfundsbaserede organisationer, herunder ACLU og NAACP, underskrevet en erklæring, der opfordrer mod brugen af ​​risikovurdering. Samtidig har flere og flere jurisdiktioner og stater, herunder Californien, henvendt sig til dem i et hagl-Mary-bestræbelse på at reparere deres overbelastede fængsler og fængsler.

Datadrevet risikovurdering er en måde at rense og legitimere undertrykkende systemer på, sagde Marbre Stahly-Butts, administrerende direktør for Law for Black Lives, på scenen på konferencen , som var vært på MIT Media Lab. Det er en måde at trække opmærksomheden væk fra de faktiske problemer, der påvirker lavindkomst- og minoritetssamfund, såsom definansierede skoler og utilstrækkelig adgang til sundhedspleje.

Vi er ikke risici, sagde hun. Vi er behov.

Denne historie dukkede oprindeligt op i vores AI-nyhedsbrev The Algorithm. For at få det leveret direkte til din indbakke, abonner her gratis.

skjule