211service.com
Forudsigende politialgoritmer er racistiske. De skal skilles ad.
Franziska Barczyk
Yeshimabeit Milner gik i gymnasiet, første gang hun så børn, hun kendte, blive sat i håndjern og stoppet ind i politibiler. Det var den 29. februar 2008, og rektor på en nærliggende skole i Miami, med en majoritet af haitiske og afroamerikanske befolkninger, havde sat en af sine elever i kvælertag. Den næste dag afholdt flere dusin børn en fredelig demonstration. Det gik ikke godt.
Den aften startede Miamis NBC 6 News at Six med et segment kaldet Chaos on Campus. (Der er en klip på YouTube .) Spændingerne er høje på Edison Senior High, efter at en kamp for rettigheder ender i en kamp med loven, sagde udsendelsen. Klip til slørede telefonoptagelser af skrigende teenagere: Det kaos, du ser, er et fuldstændigt slagsmål inde i skolens cafeteria.
Studerende fortalte journalister, at politiet slog dem med batonger, smed dem på gulvet og skubbede dem op mod vægge. Politiet hævdede, at det var dem, der blev angrebet - med vandflasker, sodavand, mælk og så videre - og opfordrede til nødhjælp. Omkring 25 studerende blev anholdt, og mange blev anklaget for flere forbrydelser, herunder at modsætte sig anholdelse med vold. Milner husker, at hun så på tv og så børn, hun havde gået i folkeskole med, blive varetægtsfængslet. Det var så vildt, siger hun.
'Der er en lang historie med data, der er blevet våbenet mod sorte samfund.'
For Milner var begivenhederne den dag og de langsigtede konsekvenser for de anholdte afgørende. Kort efter, mens hun stadig gik i skole, blev hun involveret i databaseret aktivisme, der dokumenterede medstuderendes erfaringer med racistisk politiarbejde. Hun er nu direktør for Data for Black Lives , en græsrodsorganisation for digitale rettigheder, hun var med til at stifte i 2017. Det, hun lærte som teenager, skubbede hende ind i et liv med at kæmpe tilbage mod skævhed i det strafferetlige system og afmontere det, hun kalder skole-til-fængsel-rørledningen. Der er en lang historie med data, der er blevet våbenet mod sorte samfund, siger hun.
Ulighed og misbrug af politiets magt gør det ikke bare spille på gaden eller under skoleoptøjer. For Milner og andre aktivister er fokus nu på, hvor der er størst potentiale for langvarig skade: prædiktive politiværktøjer og politistyrkers misbrug af data. En række undersøgelser har vist, at disse værktøjer forevige systemisk racisme , og alligevel ved vi stadig meget lidt om, hvordan de fungerer, hvem der bruger dem, og til hvilket formål. Alt dette skal ændres, før en ordentlig opgørelse kan finde sted. Heldigvis kan tidevandet vende.
Der er to brede typer af prædiktivt politiværktøj. Lokationsbaserede algoritmer trækker på forbindelser mellem steder, begivenheder og historiske kriminalitetsrater for at forudsige, hvor og hvornår der er større sandsynlighed for, at forbrydelser finder sted - for eksempel under visse vejrforhold eller ved store sportsbegivenheder. Værktøjerne identificerer hot spots, og politiet planlægger patruljer omkring disse tip-offs. En af de mest almindelige, kaldet PredPol, som bruges af snesevis af byer i USA , deler placeringer op i blokke på 500 x 500 fod og opdaterer sine forudsigelser i løbet af dagen - en slags vejrudsigt for kriminalitet.
Andre værktøjer trækker på data om mennesker, såsom deres alder, køn, civilstand, historie med stofmisbrug og straffeattest, for at forudsige, hvem der har en høj chance for at blive involveret i fremtidig kriminel aktivitet. Disse personbaserede værktøjer kan enten bruges af politiet, til at gribe ind, før en forbrydelse finder sted, eller af domstolene til at afgøre under retsmøder eller domsafsigelse, om en person, der er blevet anholdt, sandsynligvis vil begå forbrydelser igen. For eksempel udsteder et værktøj kaldet COMPAS, der bruges i mange jurisdiktioner til at hjælpe med at træffe beslutninger om løsladelse og strafudmåling, en statistisk score mellem 1 og 10 for at kvantificere, hvor sandsynligt det er, at en person bliver anholdt igen, hvis han bliver løsladt.
Problemet ligger i de data, algoritmerne lever af. For det første er prædiktive algoritmer let skæve af anholdelsesrater. Ifølge tal fra det amerikanske justitsministerium er du det mere end dobbelt så stor sandsynlighed for at blive anholdt hvis du er sort, end hvis du er hvid. En sort person har fem gange så stor sandsynlighed for at blive stoppet uden rimelig grund som en hvid person. Masseanholdelsen på Edison Senior High var blot et eksempel på en type uforholdsmæssig politireaktion, som ikke er ualmindeligt i sorte samfund.
De børn, Milner så blive arresteret, blev sat op til en livstids forudindtaget vurdering på grund af den arrestationsjournal. Men det var ikke kun deres eget liv, der blev påvirket den dag. De data, der blev genereret af deres anholdelser, ville være blevet ført ind i algoritmer, der uforholdsmæssigt ville målrette mod alle unge sorte mennesker, som algoritmerne vurderede. Selvom algoritmerne ved lov ikke bruger race som en forudsigelse, fungerer andre variabler, såsom socioøkonomisk baggrund, uddannelse og postnummer, som proxyer. Selv uden eksplicit at overveje race, er disse værktøjer racistiske.
Det er derfor, for mange, selve begrebet prædiktiv politiarbejde er problemet. Forfatteren og akademikeren Dorothy Roberts , der studerer jura og sociale rettigheder ved University of Pennsylvania, udtrykte det godt i en online paneldebat i juni. Racisme har altid handlet om at forudsige, om at få visse racegrupper til at virke, som om de er disponerede for at gøre dårlige ting og derfor retfærdiggør at kontrollere dem, sagde hun.
Risikovurderinger har været en del af det strafferetlige system i årtier. Men politiafdelinger og domstole har gjort mere brug af automatiserede værktøjer i de sidste par år af to hovedårsager. For det første har budgetnedskæringer ført til en effektiviseringsindsats. Folk ringer for at defundere politiet, men de er allerede blevet defunderet, siger Milner. Byer har gået i stykker i årevis, og de har erstattet politiet med algoritmer. Præcise tal er svære at komme frem til, men forudsigelsesværktøjer menes at blive brugt af politistyrker eller domstole i de fleste amerikanske stater.
Den anden grund til den øgede brug af algoritmer er den udbredte tro på, at de er mere objektive end mennesker: De blev først introduceret for at gøre beslutningstagningen i det strafferetlige system mere retfærdig. Fra 1990'erne brugte tidlige automatiserede teknikker regelbaserede beslutningstræer, men i dag udføres forudsigelse med maskinlæring.
LERBANKER VIA UNSPLASHEndnu stigende beviser tyder på, at menneskelige fordomme er blevet bagt ind i disse værktøjer, fordi maskinlæringsmodellerne er trænet på partiske politidata. Langt fra at undgå racisme, kan de simpelthen være bedre til at skjule det. Mange kritikere ser nu disse værktøjer som en form for tech-washing , hvor en finér af objektivitet dækker over mekanismer, der fastholder uligheder i samfundet.
Det er egentlig bare i de sidste par år, at folks syn på disse værktøjer er skiftet fra at være noget, der kan lindre skævhed til noget, der kan forankre det, siger Alice Xiang , en advokat og dataforsker, der leder forskning i retfærdighed, gennemsigtighed og ansvarlighed hos Partnership on AI. Disse skævheder er blevet forstærket siden den første generation af forudsigelsesværktøjer dukkede op for 20 eller 30 år siden. Vi tog dårlige data i første omgang, og så brugte vi værktøjer til at gøre det værre, siger Katy Weathington , der studerer algoritmisk bias ved University of Colorado Boulder. Det har bare været en selvforstærkende løkke igen og igen.
Tingene bliver måske værre. I kølvandet på protester mod politiets skævhed efter George Floyds død i hænderne på en politibetjent i Minneapolis, fordobler nogle politiafdelinger deres brug af forudsigelsesværktøjer. For en måned siden sendte New York Police Departments kommissær Dermot Shea et brev til sine betjente. I det nuværende klima skal vi bekæmpe kriminalitet anderledes, skrev han. Vi vil gøre det med færre gadestop – måske udsætte dig for mindre fare og ansvar – mens vi bedre udnytter data, intelligens og al den teknologi, vi har til rådighed... Det betyder for NYPD's del, at vi fordobler vores præcision- politiindsats.
Politiet kan godt lide ideen om værktøjer, der giver dem et heads-up og giver dem mulighed for at gribe ind tidligt, fordi de tror, det holder kriminalitetsraterne nede, siger politiet. Rashida Richardson , direktør for politikforskning ved AI Now Institute. Men i praksis kan deres brug føles som chikane. Forskere har fundet ud af, at nogle politiafdelinger giver betjente de mest eftersøgte lister over personer, som værktøjet identificerer som højrisiko. Dette kom først frem, da folk i Chicago rapporterede, at politiet havde banket på deres døre og fortalt dem, at de blev overvåget. I andre stater, siger Richardson, advarede politiet folk på listerne om, at de var i høj risiko for at blive involveret i banderelateret kriminalitet og bad dem om at træffe foranstaltninger for at undgå dette. Hvis de senere blev anholdt for enhver form for kriminalitet, brugte anklagere den forudgående advarsel til at søge højere sigtelser. Det er nærmest som en digital form for indespærring, hvor man giver folk nogle vage informationer og så holder det imod dem, siger hun.
'Det er næsten som en digital form for indespærring.'
Tilsvarende undersøgelser – herunder en bestilt af den britiske regerings Center for Data Ethics and Innovation sidste år – foreslå, at identifikationen af bestemte områder som hot spots gør, at betjentene kan forvente problemer, når de er på patrulje, hvilket gør dem mere tilbøjelige til at stoppe eller arrestere folk der på grund af fordomme frem for behov.
Et andet problem med algoritmerne er, at mange blev trænet på hvide befolkningsgrupper uden for USA, blandt andet fordi strafferegistre er svære at få fat i på tværs af forskellige amerikanske jurisdiktioner. Static 99, et værktøj designet til at forudsige recidiv blandt seksualforbrydere, blev trænet i Canada, hvor kun omkring 3 % af befolkningen er sorte sammenlignet med 12 % i USA. Adskillige andre værktøjer brugt i USA blev udviklet i Europa, hvor 2% af befolkningen er sorte. På grund af forskellene i socioøkonomiske forhold mellem lande og befolkninger, vil værktøjerne sandsynligvis være mindre nøjagtige på steder, hvor de ikke blev trænet. Desuden bruger nogle forudgående algoritmer, der er trænet for mange år siden, stadig forudsigelser, der er forældede. For eksempel forudser nogle stadig, at en tiltalt, der ikke har en fastnettelefon, er mindre tilbøjelige til at dukke op i retten.
Men fungerer disse værktøjer, selvom de er ufuldstændige? Det kommer an på, hvad du mener med arbejde. Generelt er det praktisk talt umuligt at adskille brugen af prædiktive politiværktøjer fra andre faktorer, der påvirker kriminalitet eller fængslingsrater. Alligevel har en håndfuld små undersøgelser draget begrænsede konklusioner. Nogle viser tegn på, at domstolenes brug af risikovurderingsværktøjer har haft en mindre positiv indvirkning. EN 2016-undersøgelse af et maskinlæringsværktøj, der blev brugt i Pennsylvania til at informere om prøveløsladelsesbeslutninger fandt ingen beviser for, at den satte den offentlige sikkerhed i fare (det vil sige, at den korrekt identificerede højrisikopersoner, som ikke burde frigives) og nogle beviser for, at den identificerede ikke-voldelige mennesker, som sikkert kunne løslades.
Rashida Richardson er direktør for policy research på AI Now Institute. Hun har tidligere ledet arbejdet med de juridiske spørgsmål omkring privatliv og overvågning hos American Civil Liberties Union.
TILLADELSE AF AI NUEn anden undersøgelse, i 2018, så på et værktøj, der bruges af domstolene i Kentucky og fandt ud af, at selvom risikoscorer blev fortolket inkonsekvent mellem amter, hvilket førte til uoverensstemmelser i, hvem der blev og ikke blev løsladt, ville værktøjet have en smule reduceret fængslingsraten, hvis det var blevet brugt korrekt. Og American Civil Liberties Union rapporterer, at et vurderingsværktøj vedtaget som en del af New Jersey Criminal Justice Reform Act fra 2017 førte til en 20 % fald i antallet af fængslede, mens de afventer retssag .
Fortalere for sådanne værktøjer siger, at algoritmer kan være mere retfærdige end menneskelige beslutningstagere, eller i det mindste gøre uretfærdighed eksplicit. I mange sager, især ved kautionsafhøringer forud for retssagen, forventes dommere at haste igennem mange snesevis af sager på kort tid. I en undersøgelse af retsmøder i Cook County, Illinois, fandt forskerne ud af, at dommere i gennemsnit brugte kun 30 sekunder på at overveje hver sag.
Under sådanne forhold er det rimeligt at antage, at dommere træffer hurtige beslutninger, i det mindste delvist drevet af deres personlige fordomme. Melissa Hamilton ved University of Surrey i Storbritannien, som studerer juridiske spørgsmål omkring risikovurderingsværktøjer, er kritisk over for deres brug i praksis, men mener, at de kan gøre et bedre stykke arbejde end folk i princippet. Alternativet er en menneskelig beslutningstagers black-box-hjerne, siger hun.
Men der er et åbenlyst problem. Anholdelsesdataene, der bruges til at træne prædiktive værktøjer, giver ikke et præcist billede af kriminel aktivitet. Anholdelsesdata bruges, fordi det er, hvad politiet registrerer. Men anholdelser fører ikke nødvendigvis til domme. Vi forsøger at måle folk, der begår forbrydelser, men alt, hvad vi har, er data om anholdelser, siger Xiang.
'Vi forsøger at måle folk, der begår forbrydelser, men alt, hvad vi har, er data om anholdelser.'
Hvad mere er, anholdelsesdata koder for mønstre af racistisk politiadfærd. Som et resultat er de mere tilbøjelige til at forudsige et højt potentiale for kriminalitet i minoritetskvarterer eller blandt minoritetsfolk. Selv når anholdelses- og kriminalitetsdata stemmer overens, er der et utal af socioøkonomiske årsager til, at visse befolkninger og visse kvarterer har højere historiske kriminalitetsrater end andre. At føre disse data ind i forudsigelsesværktøjer gør det muligt for fortiden at forme fremtiden.
Nogle værktøjer bruger også data om, hvor et opkald til politiet er blevet foretaget, hvilket er en endnu svagere afspejling af faktiske kriminalitetsmønstre end anholdelsesdata, og et endnu mere fordrejet af racistiske motiver . Overveje tilfældet med Amy Cooper , der ringede til politiet, simpelthen fordi en sort fuglekigger, Christian Cooper, bad hende om at sætte sin hund i snor i New Yorks Central Park.
Bare fordi der er en opfordring om, at en forbrydelse fandt sted, betyder det ikke, at en forbrydelse faktisk fandt sted, siger Richardson. Hvis opkaldet bliver et datapunkt for at retfærdiggøre udsendelse af politi til et bestemt nabolag, eller endda for at målrette mod en bestemt person, får du en feedback-loop, hvor datadrevne teknologier legitimerer diskriminerende politiarbejde.
Da flere kritikere hævder, at disse værktøjer ikke er egnede til formålet, er der opfordringer til en slags algoritmisk bekræftende handling, hvor skævheden i data opvejes på en eller anden måde. En måde at gøre dette på for risikovurderingsalgoritmer ville i teorien være at bruge differentielle risikotærskler - tre anholdelser for en sort person kunne indikere samme risikoniveau som f.eks. to anholdelser for en hvid person.
Dette var en af de tilgange, der blev undersøgt i en undersøgelse udgive d i maj af Jennifer Skeem, der studerer offentlig politik ved University of California, Berkeley, og Christopher Lowenkamp, en samfundsvidenskabelig analytiker ved det administrative kontor for de amerikanske domstole i Washington, DC. Parret så på tre forskellige muligheder for at fjerne bias i algoritmer, der havde vurderet risikoen for recidiv for omkring 68.000 deltagere, halvt hvide og halvt sorte. De fandt ud af, at den bedste balance mellem racer blev opnået, når algoritmer tog race eksplicit i betragtning - hvilket eksisterende værktøjer er lovligt forbudt at gøre - og tildelte sorte mennesker en højere tærskel end hvide for at blive anset for høj risiko.
Selvfølgelig er denne idé ret kontroversiel. Det betyder i det væsentlige at manipulere dataene for at tilgive en del af forbrydelser på grund af gerningsmandens race, siger Xiang: Det er noget, der gør folk meget utilpas. Ideen om at holde medlemmer af forskellige grupper til forskellige standarder går imod mange menneskers følelse af retfærdighed, selvom det er gjort på en måde, der formodes at adressere historisk uretfærdighed. (Du kan selv prøve denne afvejning i vores interaktiv historie om algoritmisk bias i det strafferetlige system , som lader dig eksperimentere med en forenklet version af COMPAS-værktøjet.)
I hvert fald er det amerikanske retssystem ikke klar til at føre sådan en diskussion. Den juridiske profession har været langt bagud med disse risikovurderingsværktøjer, siger Hamilton. Hun har de seneste år holdt kurser for advokater og oplevet, at forsvarsadvokater ofte ikke engang er klar over, at deres klienter bliver vurderet på denne måde. Hvis du ikke er klar over det, kommer du ikke til at udfordre det, siger hun.
Manglen på bevidsthed kan bebrejdes det mørke i det overordnede billede: retshåndhævelsen har været så fåmælt om, hvordan den bruger disse teknologier, at det er meget svært for nogen at vurdere, hvor godt de fungerer. Selv når information er tilgængelig, er det svært at knytte et system til et hvilket som helst resultat. Og de få detaljerede undersøgelser, der er blevet lavet, fokuserer på specifikke værktøjer og drager konklusioner, som måske ikke gælder for andre systemer eller jurisdiktioner.
Det er ikke engang klart, hvilke værktøjer der bliver brugt, og hvem der bruger dem. Vi ved ikke, hvor mange politiafdelinger der har brugt eller i øjeblikket bruger prædiktiv politiarbejde, siger Richardson.
For eksempel kom det faktum, at politiet i New Orleans brugte et forudsigelsesværktøj udviklet af det hemmelige dataminefirma Palantir, først frem efter en undersøgelse fra The Verge . Og offentlige optegnelser viser, at New Yorks politi har betalt 2,5 millioner dollars til Palantir men siger ikke hvad for.
GETTYDe fleste værktøjer er licenseret til politiafdelinger af en kludderblanding af små firmaer, statslige myndigheder og forskere. Nogle er proprietære systemer; nogle er ikke. De fungerer alle på lidt forskellige måder. På baggrund af værktøjernes output genskaber forskerne så godt de kan, hvad de tror, der foregår.
Hamid Khan, en aktivist, der i årevis kæmpede for at få Los Angeles-politiet til at droppe et forudsigelsesværktøj kaldet PredPol, krævede en revision af værktøjet af politiafdelingens generalinspektør. Ifølge Khan , i marts 2019 sagde generalinspektøren, at opgaven var umulig, fordi værktøjet var så kompliceret.
I Det Forenede Kongerige forsøgte Hamilton at undersøge et værktøj kaldet OASys, som - ligesom COMPAS - er almindeligt brugt i retsmøder, domsafsigelse og prøveløsladelse. Firmaet, der laver OASys, laver sine egne revisioner og har ikke frigivet meget information om, hvordan det fungerer, siger Hamilton. Hun har gentagne gange forsøgt at få oplysninger fra udviklerne, men de holdt op med at reagere på hendes anmodninger. Hun siger, jeg tror, de slog mine studier op og besluttede: Nej.
Det velkendte afstå fra virksomheder, der laver disse værktøjer, er, at de ikke kan dele information, fordi det ville være at opgive forretningshemmeligheder eller fortrolige oplysninger om personer, værktøjerne har vurderet.
Alt dette betyder, at kun en håndfuld er blevet undersøgt i detaljer, selvom der er information om nogle få af dem. Static 99 blev udviklet af en gruppe datavidenskabsmænd, som delte detaljer om dens algoritmer. Public Safety Assessment, et af de mest almindelige forudgående risikovurderingsværktøjer i USA, blev oprindeligt udviklet af Arnold Ventures, en privat organisation, men det viste sig at være lettere at overbevise jurisdiktioner om at vedtage det, hvis nogle detaljer om, hvordan det fungerede, blev afsløret. , siger Hamilton. Alligevel har producenterne af begge værktøjer nægtet at frigive de datasæt, de brugte til træning, hvilket ville være nødvendigt for fuldt ud at forstå, hvordan de fungerer.
Køb af et risikovurderingsværktøj er underlagt de samme regler som køb af en sneplov.
Ikke alene er der ringe indsigt i mekanismerne i disse værktøjer, men kritikere siger, at politiafdelinger og domstole ikke gør nok for at sikre, at de køber værktøjer, der fungerer som forventet. For NYPD er køb af et risikovurderingsværktøj underlagt de samme regler som at købe en sneplov, siger Milner.
Politiet er i stand til at gå i fuld fart med at købe teknologi uden at vide, hvad de bruger, uden at investere tid for at sikre, at det kan bruges sikkert, siger Richardson. Og så er der ingen løbende revision eller analyse for at afgøre, om det overhovedet virker.
Bestræbelser på at ændre dette har mødt modstand. Sidste måned New York City bestået det Lov om offentligt tilsyn med overvågningsteknologi (POST). , som kræver, at NYPD opregner alle sine overvågningsteknologier og beskriver, hvordan de påvirker byens indbyggere. NYPD er den største politistyrke i USA, og fortalere for lovforslaget håber, at afsløringen også vil kaste lys over, hvilken teknologi andre politiafdelinger i landet bruger. Men det var svært at komme så langt. Richardson, der forkæmper lovforslaget, havde set det sidde i limbo siden 2017, indtil udbredte opfordringer til politireform i de sidste par måneder væltede meningsbalancen.
Det var frustration over at forsøge at finde grundlæggende oplysninger om digital politipraksis i New York, der fik Richardson til at arbejde på regningen. Politiet havde gjort modstand, da hun og hendes kolleger ville lære mere om NYPD's brug af overvågningsværktøjer. Freedom of Information Act-anmodninger og retssager fra New York Civil Liberties Union virkede ikke. I 2015 foreslog de med hjælp fra byrådsmedlem Daniel Garodnik en lovgivning, der ville fremtvinge spørgsmålet.
Vi oplevede betydelige tilbageslag fra NYPD, herunder en grim PR-kampagne, der antydede, at lovforslaget gav kortet over byen til terrorister, siger Richardson. Der var ingen støtte fra borgmesteren og et fjendtligt byråd.
Med sine etiske problemer og mangel på gennemsigtighed er den nuværende tilstand af prædiktiv politiarbejde et rod. Men hvad kan man gøre ved det? Xiang og Hamilton mener, at algoritmiske værktøjer har potentialet til at være mere retfærdige end mennesker, så længe alle, der er involveret i at udvikle og bruge dem, er fuldt ud klar over deres begrænsninger og bevidst arbejder for at gøre dem retfærdige.
Men denne udfordring er ikke kun en teknisk. Der er behov for en opgørelse over, hvad man skal gøre ved bias i dataene, for det er der for at blive. Det bærer ar fra generationers politiarbejde med sig, siger Weathington.
Og hvad det vil sige at have en retfærdig algoritme er ikke noget dataloger kan svare på, siger Xiang. Det er ikke rigtig noget nogen kan svare på. Det spørger, hvordan et retfærdigt strafferetssystem vil se ud. Selvom du er advokat, selvom du er etiker, kan du ikke give ét fast svar på det.
Det er grundlæggende spørgsmål, som ikke vil være løselige i den forstand, at et matematisk problem kan løses, tilføjer hun.
Hamilton er enig. Borgerrettighedsgrupper har et svært valg at træffe, siger hun: Hvis du er imod risikovurdering, vil flere minoriteter sandsynligvis forblive indespærret. Hvis du accepterer risikovurdering, er du lidt medskyldig i at fremme racemæssig skævhed i algoritmerne.
Men det betyder ikke, at der ikke kan gøres noget. Richardson siger, at politikere bør kaldes ud for deres taktiske uvidenhed om manglerne ved disse værktøjer. For eksempel har NYPD været involveret i snesevis af retssager om mange års partisk politiarbejde. Jeg forstår ikke, hvordan man aktivt kan beskæftige sig med forligsforhandlinger om racebaserede praksisser og stadig synes, at data, der stammer fra den praksis, er okay at bruge, siger hun.
Yeshimabeit Milner er medstifter og direktør for Data for Black Lives, et græsrodskollektiv af aktivister og dataloger, der bruger data til at reformere det strafferetlige system.
TILLADELSE AF DATA FOR SORTE LIVFor Milner er nøglen til at skabe forandring at involvere de mest berørte mennesker. I 2008, efter at have set de børn, hun kendte, blive arresteret, sluttede Milner sig til en organisation, der undersøgte omkring 600 unge mennesker om deres erfaringer med arrestationer og politibrutalitet i skoler, og derefter forvandlede det, hun lærte, til en tegneserie. Unge mennesker rundt om i landet brugte tegneserien til at begynde at lave lignende arbejde, hvor de boede.
I dag koordinerer hendes organisation, Data for Black Lives, omkring 4.000 softwareingeniører, matematikere og aktivister på universiteter og samfundscentre. Risikovurderingsværktøjer er ikke den eneste måde, hvorpå misbrug af data fastholder systemisk racisme, men det er en meget i deres øjne. Vi kommer ikke til at stoppe hver enkelt privat virksomhed i at udvikle risikovurderingsværktøjer, men vi kan ændre kulturen og uddanne folk, give dem måder at skubbe tilbage på, siger Milner. I Atlanta træner de folk, der har brugt tid i fængsel, til at lave datavidenskab, så de kan spille en rolle i at reformere de teknologier, der bruges af det strafferetlige system.
I mellemtiden mener Milner, Weathington, Richardson og andre, at politiet skal stoppe med at bruge fejlbehæftede forudsigelsesværktøjer, indtil der er en aftalt måde at gøre dem mere retfærdige.
De fleste er enige om, at samfundet skal have en måde at afgøre, hvem der er til fare for andre. Men at erstatte en fordomsfuld menneskelig politimand eller dommer med algoritmer, der blot skjuler de samme fordomme, er ikke svaret. Hvis der overhovedet er en chance for, at de fortsætter racistisk praksis, bør de trækkes.
Som fortalere for forandring har fundet ud af, tager det dog lange år at gøre en forskel, med modstand ved hvert skridt. Det er ikke tilfældigt, at både Khan og Richardson oplevede fremskridt efter ugers landsdækkende forargelse over politiets brutalitet. De seneste opstande virkede bestemt til vores fordel, siger Richardson. Men det tog også fem år med konstant pres fra hende og andre fortalere. Khan havde også ført kampagne mod prædiktiv politiarbejde i LAPD i årevis.
Det pres skal fortsætte, selv efter at marcherne er stoppet. At eliminere bias er ikke en teknisk løsning, siger Milner. Det kræver dybere og ærligt talt mindre sexet og dyrere politikændring.