211service.com
Politi i hele USA træner kriminalitetsforudsigende AI'er på forfalskede data
David McNew/personale
I maj 2010, foranlediget af en række højprofilerede skandaler, bad borgmesteren i New Orleans det amerikanske justitsministerium om at undersøge byens politiafdeling (NOPD). Ti måneder senere tilbød DOJ sin blæredannelsesanalyse : I løbet af sin gennemgang fra 2005 og fremefter havde NOPD gentagne gange overtrådt forfatnings- og føderal lov.
Det brugte overdreven magt og uforholdsmæssigt mod sorte beboere; målrettede raceminoriteter, ikke-engelsktalende som modersmål og LGBTQ-individer; og undlod at tage fat på vold mod kvinder. Problemerne, sagde assisterende justitsminister Thomas Perez på det tidspunkt, var seriøse, vidtfavnende, systemiske og dybt forankret i afdelingens kultur.
Trods de foruroligende fund gik byen ind i en hemmeligt partnerskab kun et år senere med dataminingfirmaet Palantir for at implementere et prædiktivt politisystem. Systemet brugte historiske data, herunder arrestationsregistre og elektroniske politirapporter, til at forudsige kriminalitet og hjælpe med at forme strategier for offentlig sikkerhed, ifølge Selskab og bystyret materialer. Disse materialer antydede på intet tidspunkt nogen indsats for at rense eller ændre dataene for at imødegå de krænkelser, som DOJ afslørede. Efter al sandsynlighed blev de korrupte data ført direkte ind i systemet, hvilket forstærkede afdelingens diskriminerende praksis.
Forudsigende politialgoritmer er ved at blive almindelig praksis i byer over hele USA. Selvom mangel på gennemsigtighed gør nøjagtige statistikker svære at fastlægge, PredPol, en førende leverandør, praler at det hjælper med at beskytte 1 ud af 33 amerikanere. Softwaren bliver ofte udråbt som en måde at hjælpe tyndstrakte politiafdelinger med at træffe mere effektive, datadrevne beslutninger.
Men ny forskning tyder på, at det ikke kun er New Orleans, der har trænet disse systemer med beskidte data. I en papir udgivet i dag, for at blive offentliggjort i NYU Law Review, fandt forskere ved AI Now Institute, et forskningscenter, der studerer den sociale virkning af kunstig intelligens, at problemet er gennemgående blandt de jurisdiktioner, det undersøgte. Dette har betydelige konsekvenser for effektiviteten af prædiktiv politiarbejde og andre algoritmer, der anvendes i det strafferetlige system.
Dit system er kun så godt som de data, du bruger til at træne det på, siger Kate Crawford, medstifter og meddirektør for AI Now og forfatter til undersøgelsen. Hvis selve dataene er forkerte, vil det medføre, at flere politiressourcer fokuseres på de samme overvågede og ofte racemålrettede samfund. Så det, du har gjort, er faktisk en form for tech-vask, hvor folk, der bruger disse systemer, antager, at de på en eller anden måde er mere neutrale eller objektive, men i virkeligheden har de indgroet en form for forfatningsstridighed eller ulovlighed.
Forskerne undersøgte 13 jurisdiktioner med fokus på dem, der har brugt prædiktive politisystemer og været genstand for en regering bestilt undersøgelse. Sidstnævnte krav sikrede, at politiets praksis havde juridisk verificerbar dokumentation. I ni af jurisdiktionerne fandt de stærke beviser på, at systemerne var blevet trænet på beskidte data.
Problemet var ikke kun data skævt af uforholdsmæssig målretning af minoriteter, som i New Orleans. I nogle tilfælde havde politiafdelinger en kultur for bevidst at manipulere eller forfalske data under intenst politisk pres for at nedbringe den officielle kriminalitet. I New York, for eksempel, for kunstigt at tømme kriminalitetsstatistikker, bad distriktsbefalingsmænd regelmæssigt ofre på gerningssteder om ikke at indgive klager. Nogle politibetjente plantede endda stoffer på uskyldige mennesker for at opfylde deres kvoter for arrestationer. I moderne prædiktive politisystemer, som er afhængige af maskinlæring til at forudsige kriminalitet, bliver disse korrupte datapunkter legitime forudsigere.
Papirets resultater sætter spørgsmålstegn ved gyldigheden af prædiktive politisystemer. Sælgere af sådan software hævder ofte, at de skæve resultater af deres værktøjer let kan rettes, siger Rashida Richardson, direktør for policy research hos AI Now og hovedforfatter på undersøgelsen. Men i alle disse tilfælde er der en eller anden form for systemisk problem, som afspejles i dataene, siger hun. Midlet ville derfor kræve langt mere end blot at fjerne et eller to tilfælde af dårlig opførsel. Det er ikke så let at adskille gode data fra dårlige data eller gode politifolk fra dårlige politifolk, tilføjer Jason Schultz, instituttets forskningsleder for jura og politik, en anden forfatter til undersøgelsen.
Sælgere hævder også, at de undgår data, der er mere tilbøjelige til at afspejle skævheder, såsom narkotikarelaterede arrestationer, og vælger i stedet for træningsinput som 911-opkald. Men forskerne fandt lige så meget bias i de angiveligt mere neutrale data. Ydermere fandt de ud af, at leverandører aldrig uafhængigt auditerer de data, der føres ind i deres systemer.
Relateret historie
Relateret historie Brug af historiske data til at træne risikovurderingsværktøjer kan betyde, at maskiner kopierer fortidens fejl.Papiret kaster lys over en anden debat, der raser i USA om brugen af kriminelle risikovurderingsværktøjer, som også bruger maskinlæring til at hjælpe med at bestemme alt fra tiltaltes skæbne under retssagen til alvoren af deres domme. De data, vi diskuterer i dette papir, er ikke kun isoleret til politiarbejde, siger Richardson. Det bruges i hele det strafferetlige system.
I øjeblikket har meget af debatten fokuseret på selve systemets mekanik - om det kan designes til at producere matematisk retfærdige resultater. Men forskerne understreger, at det er et forkert spørgsmål. At adskille algoritmespørgsmålet fra det sociale system, det er forbundet med og indlejret i, kommer dig ikke ret langt, siger Schultz. Vi er virkelig nødt til at erkende grænserne for den slags matematiske, beregningsbaserede forsøg på at adressere bias.
Fremadrettet håber forskerne, at deres arbejde vil hjælpe med at omformulere debatten til at fokusere på det bredere system frem for selve værktøjet. De håber også, at det vil få regeringerne til at skabe mekanismer som f.eks algoritmisk konsekvensvurderingsramme instituttet udgivet sidste år, for at bringe mere gennemsigtighed, ansvarlighed og tilsyn med brugen af automatiserede beslutningsværktøjer.
Hvis de sociale og politiske mekanismer, der genererer beskidte data, ikke reformeres, vil sådanne værktøjer kun gøre mere skade end gavn, siger de. Når først folk erkender det, så vil debatten måske endelig skifte til måder, vi kan bruge maskinlæring og andre teknologiske fremskridt til faktisk at stoppe årsagen til [kriminalitet], siger Richardson. Måske kan vi løse fattigdom og arbejdsløshed og boligproblemer ved at bruge statslige data på en mere gavnlig måde.