211service.com
Hemmelige algoritmer truer retsstaten
At forudsige og forme, hvad du vil gøre næste gang – hvad enten det er som shopper, arbejder eller vælger – er big business for datadrevne virksomheder. Men skal deres metoder også informere dommere og anklagere? Et ambitiøst program til at forudsige recidiv blandt dømte bringer algoritmiske risikovurderinger til amerikanske retsbygninger.
Disse vurderinger er en forlængelse af en tendens hen imod aktuarmæssige forudsigelsesinstrumenter for recidivrisiko. De kan virke videnskabelige, en indsprøjtning af beregningsmæssig rationalitet i et strafferetssystem fyldt med diskrimination og ineffektivitet. Men de er bekymrende af flere grunde: mange er hemmeligt beregnet; de nægter retfærdig rettergang og forståelige forklaringer til tiltalte; og de fremmer en krabat og umenneskelig vision om straffens rolle i samfundet.
Lad os starte med hemmeligholdelse - en faktor, der tilsyneladende har alarmeret selv Højesteret i sagen om firmaet Northpointes COMPAS-risikoscore. I Loomis mod Wisconsin , afviste en dommer en ankeaftale og dømte en tiltalt (Loomis) til en hårdere straf, delvist fordi en COMPAS-risikoscore anså ham for at have en højere risiko end gennemsnittet for recidiv. Loomis ankede dommen og hævdede, at hverken han eller dommeren kunne undersøge formlen for risikovurderingen - det var en forretningshemmelighed.
Frank Pasquale
Staten Wisconsin svarede, at Northpointe krævede, at den holdt algoritmerne fortrolige for at beskytte firmaets intellektuelle ejendom. Og Wisconsins højesteret stadfæstede Loomis' dom og begrundede, at risikovurderingen kun var en del af begrundelsen for dommen. Den ønskede fortsat at give dommere mulighed for at tage højde for COMPAS-scoren som en del af deres strafudmålingsrationale, selvom de ikke havde nogen idé om, hvordan det blev udregnet.
Advokater , akademikere og aktivister stiller nu spørgsmålstegn ved den begrundelse. Retssager er stort set åbne for offentligheden. Dommere skal begrunde deres vigtigste handlinger, såsom strafudmåling. Når en algoritmisk scoringsproces holdes hemmelig, er det det umuligt at udfordre centrale aspekter af det. Hvordan vægter algoritmen forskellige datapunkter, og hvorfor? Hver af disse forespørgsler er afgørende for to centrale juridiske principper: retfærdig proces og evnen til meningsfuldt at appellere en negativ afgørelse.
Retfærdig proces er et åbent koncept, men afgørende for legitime retssystemer. Dette grundlæggende forfatningsmæssige princip giver tiltalte ret til at forstå, hvad de er anklaget for, og hvad beviserne mod dem er. En hemmelig risikovurderingsalgoritme, der giver en fordømmende score, er analog med beviser fra en anonym ekspert , som man ikke kan krydsforhøre. Enhver domstol, der er bevidst om grundlæggende retsstatsprincipper, såvel som femte og fjortende ændringsprincipper om meddelelse og forklaring af afgørelser, ville være meget forsigtig med at tillade en stat at basere domme (selvom kun delvist) på en hemmelig algoritme.
To former for automatiseringsbias truer også retten til en meningsfuld appel. Dommere er alt for tilbøjelige til at antage, at kvantitative metoder er overlegne i forhold til almindelige verbale ræsonnementer, og til at reducere den aktuelle opgave (strafudmåling) til en anvendelse af de kvantitative data, der er tilgængelige om recidivrisiko. Begge svar underminerer kompleksiteten og den humane dømmekraft, der er nødvendig for at udmåle straf.
Endnu værre, når virksomheder tilbyder kommercielle begrundelser for at holde deres hemmelige sauce ude af offentlighedens øjne, har domstolene været ivrige efter at beskytte forretningshemmelighederne for scoringsfirmaer. Den tendens er bekymrende i private sammenhænge , da kommercielle tort kan begås ustraffet takket være uigennemsigtigheden af rangordnings- og ratingsystemer. Selv i forbindelse med afstemning , har myndighederne været sløve med at kræve software, der kan kontrolleres og forstås af udefrakommende . Ikke desto mindre burde sagen om straffedom være en bro for samvittighedsfulde dommere - og det forklarer sandsynligvis den amerikanske højesterets interesse i Loomis. At sende nogen i fængsel takket være de uforklarlige, uanfægtelige domme fra et hemmeligt computerprogram er for Sort spejl for selv hærdede forsvarere af virksomhedsprivilegier.
Desuden er der muligheder mellem fuldstændig algoritmisk hemmeligholdelse og fuldstændig offentlighed. Som jeg forklaret i 2010 er kvalificeret gennemsigtighed en veletableret metode til at sætte visse eksperter i stand til at vurdere beskyttede forretningshemmeligheder (inklusive firmaers kode og data) for at teste et systems kvalitet, gyldighed og pålidelighed. Tænk på en særlig mester i en retssag eller Secure Compartmented Information Facilities til efterretningstjenester. Regeringer bør som et minimum ikke bruge algoritmer som COMPAS-score uden en form for ekstern kvalitetssikring muliggjort af kvalificeret gennemsigtighed.
Men hemmeligholdelse er ikke det eneste problem her. Antag, at algoritmisk risikovurdering med tiden bliver mere offentlig med fuldt gennemsigtige formler og data. Der er stadig alvorlige betænkeligheder ved brugen af evidensbaseret strafudmåling, da kvantitative prædiktive analyser ofte markedsføres i strafferetlige sammenhænge.
Det har f.eks. jurist Sonja Starr argumenterede at det, der virkelig er kritisk i strafudmålingssammenhængen, ikke kun er recidiv i sig selv, men den forskel, en længere fængselsstraf vil gøre for sandsynligheden for, at en dømt gentager sig. Algoritmisk risikovurdering kan i sidste ende blive meget god til at forudsige gentagelser, men hvad med en risikovurdering af selve risikovurderingen - det vil sige faren for, at en længere straf for en højrisikoforbryder kan blive en selvopfyldende profeti, givet det kriminogene miljø med mange fængsler?
Der er også værdi i narrativ forståelighed i rangeringen og vurderingen af mennesker. Virksomheder er markedsføringsanalyser for at forudsige ikke kun sandsynligheden for kriminelt recidiv, men også chancerne for, at en given person bliver psykisk syg , en dårlig medarbejder , til svigtende elev , til kriminel , eller en terrorist . Selvom vi kan tilsidesætte de selvopfyldende profetier, der er rejst ovenfor, bør disse vurderinger kun implementeres med største forsigtighed. Engang brugt til at rådgive politi, DHS, lærere eller chefer, er de ikke blot meninger, der cirkulerer i en fri strøm af ideer. De kan snarere have direkte indflydelse på personers levebrød, frihed og uddannelse. Hvis de ikke kan forklares på en narrativt forståelig måde, bør de måske slet ikke bruges uden direkte samtykke fra den person, de vurderer.
Denne mening falder måske ikke i god jord hos dem, der ser kunstig intelligens som det næste skridt i menneskets evolution. Robotiker Hod Lipson mindeværdigt sammenlignes bestræbelser på at gøre avanceret algoritmisk informationsbehandling forståelig for mennesker til at forklare Shakespeare til en hund. Men denne ladede metafor skjuler mere, end den afslører. I det mindste for nu er mennesker ansvarlige for regeringer og kan kræve forklaringer på beslutninger i naturligt sprog, ikke computerkode. Hvis man undlader at gøre det i den kriminelle kontekst, risikerer man at afgive iboende statslige og juridiske funktioner til en uansvarlig beregningselite.
Frank Pasquale er professor i jura ved University of Maryland og forfatter til Black Box Society .