Den to-årige kamp for at forhindre Amazon i at sælge ansigtsgenkendelse til politiet

Fru Tech | Getty

I sommeren 2018, næsten 70 borgerrettigheds- og forskningsorganisationer skrev et brev til Jeff Bezos, der kræver, at Amazon stopper med at levere ansigtsgenkendelsesteknologi til regeringer. Som led i et øget fokus på den rolle, tech-virksomheder spillede i muliggør den amerikanske regerings sporing og deportation af immigranter , opfordrede den Amazon til at stå op for borgerrettigheder og borgerlige frihedsrettigheder. Som annonceret, sagde det, er Rekognition et kraftfuldt overvågningssystem, der er let tilgængeligt til at krænke rettigheder og målrette mod farvede samfund.

Sammen med brevet leverede American Civil Liberties Union (ACLU) i Washington over 150.000 underskrifter af andragender samt en anden brev fra selskabets egne aktionærer udtrykker lignende krav. Et par dage senere gentog Amazons medarbejdere bekymringerne et internt notat .

På trods af det stigende pres fortsatte Amazon med business as usual. Det skubbede Anerkendelse som et værktøj til at overvåge folk af interesse og fordoblet om at levere andre overvågningsteknologier til regeringer. Selskabets datterselskab Ring, som f.eks. købte kun få måneder tidligere, har hurtigt indgået partnerskaber med mere end 1.300 retshåndhævende myndigheder at bruge optagelser fra deres hjemmeovervågningskameraer i strafferetlige efterforskninger.

Men onsdag den 10. juni chokerede Amazon borgerrettighedsaktivister og forskere, da det meddelte, at det ville placere et et-årigt moratorium for politiets brug af anerkendelse. Flytningen fulgte IBMs beslutning om at stoppe dets generelle ansigtsgenkendelsessystem. Den næste dag, Microsoft meddelte det det ville stoppe med at sælge sit system til politiafdelinger, indtil føderal lov regulerer teknologien. Mens Amazon har givet den mindste indrømmelse af de tre virksomheder, er det også den største udbyder af teknologien til retshåndhævelse. Beslutningen er kulminationen på to års forskning og eksternt pres for at demonstrere Rekognitions tekniske fejl og dets potentiale for misbrug.

Det er utroligt, at Amazon faktisk reagerer i denne aktuelle samtale om racisme, sagde Deborah Raji, en AI-ansvarlighedsforsker, der var medforfatter en grundlæggende undersøgelse på de racemæssige skævheder og unøjagtigheder, der er indbygget i virksomhedens teknologi. Det taler bare om kraften i dette nuværende øjeblik.

Et år er en start, siger Kade Crockford, direktøren for teknologifrihedsprogrammet ved ACLU i Massachusetts. Det er absolut en indrømmelse fra virksomhedens side, i det mindste implicit, at det, som fortalere for raceretfærdighed har fortalt dem i to år, er korrekt: Ansigtsovervågningsteknologi bringer sorte og brune mennesker i USA i fare. Det er en bemærkelsesværdig indrømmelse.

To år undervejs

I februar 2018 offentliggjorde MIT-forsker Joy Buolamwini og Timnit Gebru, dengang Microsoft-forsker, en banebrydende undersøgelse kaldet Gender Shades om køns- og racefordomme, der er indlejret i kommercielle ansigtsgenkendelsessystemer. På det tidspunkt omfattede undersøgelsen de systemer, der blev solgt af Microsoft, IBM og Megvii, en af ​​Kinas største udbydere af ansigtsgenkendelse. Det omfattede ikke Amazons anerkendelse.

Ikke desto mindre var det den første undersøgelse af sin art, og resultaterne var chokerende: Det værste system, IBMs, var 34,4 procentpoint dårligere til at klassificere køn for mørkhudede kvinder end lyshudede mænd. Resultaterne afkræftede straks de nøjagtighedspåstande, som virksomhederne havde brugt til at sælge deres produkter, og udløste en debat om ansigtsgenkendelse generelt.

Mens debatten rasede, blev det hurtigt klart, at problemet også var dybere end skæve træningsdata eller ufuldkomne algoritmer. Selvom systemerne nåede 100 % nøjagtighed, kan de stadig blive indsat på farlige måder, advarede mange forskere og aktivister.

Et stillbillede fra Joy Buolamwinis videodigt 'AI, Ain't I A Woman?' viser nogle af de alvorlige fejl begået af Rekognition.

TILLADELSE FRA ALGORITHMIC JUSTICE LEAGUE

Der er to måder, hvorpå denne teknologi kan skade folk, siger Raji, der arbejdede med Buolamwini og Gebru på Gender Shades. En måde er ved ikke at fungere: i kraft af at have højere fejlprocenter for farvede mennesker, sætter det dem i større risiko. Den anden situation er, når den gør arbejde – hvor du har det perfekte ansigtsgenkendelsessystem, men det er nemt at våben mod samfund for at chikanere dem. Det er en separat og sammenhængende samtale.

Gender Shades arbejde var at afsløre den første situation, siger hun. Derved skabte det en åbning til at afsløre den anden.

Amazon forsøgte at miskreditere deres forskning; det forsøgte at underminere dem som sorte kvinder, der ledede denne forskning.

Meredith Whittaker

Dette er, hvad der skete med IBM. Efter at Gender Shades blev offentliggjort, var IBM en af ​​de første virksomheder, der nåede ud til forskerne for at finde ud af, hvordan de kunne løse sine bias-problemer. I januar 2019 udgav den et datasæt kaldet Mangfoldighed i ansigter , der indeholder over 1 million kommenterede ansigtsbilleder, i et forsøg på at gøre sådanne systemer bedre. Men flytningen gav bagslag efter at folk opdagede, at billederne var skrabet fra Flickr, hvilket bringer spørgsmål om samtykke og privatliv op. Det udløste endnu en række interne diskussioner om, hvordan man etisk træner ansigtsgenkendelse. Det førte dem ned i kaninhullet for at opdage de mange problemer, der eksisterer med denne teknologi, siger Raji.

Så i sidste ende var det ingen overraskelse, da virksomheden endelig trak stikket. (Kritikere påpege at dets system alligevel ikke havde meget fodfæste på markedet.) IBM indså bare, at 'fordele' på ingen måde var proportionale med skaden, siger Raji. Og i netop dette øjeblik var det det rigtige tidspunkt for dem at fortælle offentligt om det.

Men mens IBM var lydhør over for ekstern feedback, havde Amazon den modsatte reaktion. I juni 2018, midt i alle de andre breve med krav om, at virksomheden stoppede politiets brug af Rekognition, Raji og Buolamwini udvidet Gender Shades-revisionen at omfatte dens ydeevne. Resultaterne, offentliggjort et halvt år senere i en fagfællebedømt papir , endnu en gang fundet store tekniske unøjagtigheder. Anerkendelse klassificerede køn af mørkhudede kvinder 31,4 procentpoint mindre nøjagtigt end for lyshudede mænd.

I juli, ACLU i det nordlige Californien også gennemførte sit eget studie , og fandt ud af, at systemet fejlagtigt matchede billeder af 28 medlemmer af den amerikanske kongres med mugshots. De falske tændstikker var uforholdsmæssigt farvede.

I stedet for at anerkende resultaterne offentliggjorde Amazon dog to Blog indlæg hævdede, at Raji og Buolamwinis arbejde var vildledende. Som svar, næsten 80 AI-forskere , inklusive Turing Award-vinderen Yoshua Bengio, forsvarede arbejdet og opfordrede endnu en gang virksomheden til at stoppe med at sælge ansigtsgenkendelse til politiet.

Det var sådan en følelsesladet oplevelse på det tidspunkt, husker Raji. Vi havde gjort så meget due diligence med hensyn til vores resultater. Og så var den første reaktion så direkte konfronterende og aggressivt defensiv.

Amazon forsøgte at miskreditere deres forskning; det forsøgte at underminere dem som sorte kvinder, der ledede denne forskning, siger Meredith Whittaker, medstifter og direktør for AI Now Institute, som studerer de sociale konsekvenser af AI. Det forsøgte at opdrive en fortælling om, at de havde taget fejl - at enhver, der forstod teknologien, klart ville vide, at dette ikke var et problem.

Flytningen satte virkelig Amazon i politisk fare.

Mutale Nkonde

Faktisk, da det offentligt afviste undersøgelsen, begyndte Amazon at investere i at undersøge rettelser bag kulisserne. Det hyrede en fairness lead, investeret i en NSF-forskningsbevilling for at afbøde problemerne og udgav en ny version af Rekognition et par måneder senere, der reagerede direkte på undersøgelsens bekymringer, siger Raji. Samtidig er det slå aktionærindsatsen tilbage at suspendere salget af teknologien og foretage en uafhængig vurdering af menneskerettighederne. Det også brugt millioner lobbyer Kongressen for at undgå regulering.

Men så ændrede alt sig. Den 25. maj 2020 myrdede betjent Derek Chauvin George Floyd, hvilket udløste en historisk bevægelse i USA for at bekæmpe institutionel racisme og sætte en stopper for politibrutalitet. Som svar introducerede hus- og senatdemokraterne et lovforslag om politireform der inkluderer et forslag om at begrænse ansigtsgenkendelse i en retshåndhævelsessammenhæng, hvilket markerer den største føderale indsats nogensinde for at regulere teknologien. Da IBM annoncerede, at de ville indstille sit ansigtsgenkendelsessystem, sendte det også et brev til Congressional Black Caucus, der opfordrer til en national dialog om, hvorvidt og hvordan ansigtsgenkendelsesteknologi skal anvendes af nationale retshåndhævende myndigheder.

Jeg tror, ​​at IBMs beslutning om at sende det brev, på det tidspunkt, hvor det samme lovgivende organ overvejer et lovforslag om politireform, virkelig ændrede landskabet, siger Mutale Nkonde, en AI-politisk rådgiver og fellow ved Harvards Berkman Klein Center. Selvom de ikke var en stor spiller inden for ansigtsgenkendelse, bragte flytningen virkelig Amazon i politisk fare. Det etablerede en klar forbindelse mellem teknologien og den igangværende nationale samtale, på en måde, som var svær at ignorere for regulatorer.

En forsigtig optimisme

Men selvom aktivister og forskere ser Amazons indrømmelse som en stor sejr, erkender de også, at krigen ikke er slut. For det første var Amazons 102-ords meddelelse vag med hensyn til detaljer om, hvorvidt dets moratorium ville omfatte retshåndhævende myndigheder ud over politiet, såsom US Immigration and Customs Enforcement eller Department of Homeland Security. (Amazon reagerede ikke på en anmodning om kommentar.) For en anden er udløbet på et år også et rødt flag.

Den kyniske del af mig siger, at Amazon vil vente, indtil protesterne dør - indtil den nationale samtale skifter til noget andet - med at vende tilbage til sin tidligere holdning, siger ACLUs Crockford. Vi vil følge nøje med for at sikre, at disse virksomheder ikke effektivt får god presse for disse seneste meddelelser, mens vi samtidig arbejder bag kulisserne for at modarbejde vores indsats i lovgivende forsamlinger.

Dette er grunden til, at aktivister og forskere også mener, at regulering vil spille en afgørende rolle fremadrettet. Læren her er ikke, at virksomheder skal selvstyre, siger Whittaker. Læren er, at vi har brug for mere pres, og at vi har brug for regler, der sikrer, at vi ikke kun ser på et forbud på et år.

Den kyniske del af mig siger, at Amazon vil vente, indtil protesterne dør... med at vende tilbage til sin tidligere holdning.

Kade Crockford

Kritikere siger, at bestemmelserne om ansigtsgenkendelse i det nuværende lovforslag om politireform, som kun forbyder dets brug i realtid i kropskameraer, ikke er nær brede nok til at holde teknologigiganterne fuldt ud ansvarlige. Men Nkonde er optimistisk: hun ser dette første sæt anbefalinger som et frø til yderligere regulering, der kommer. Når de er vedtaget i loven, vil de blive et vigtigt referencepunkt for andre lovforslag, der er skrevet for at forbyde ansigtsgenkendelse i andre applikationer og sammenhænge.

Der er virkelig en større lovgivende bevægelse på både føderalt og lokalt niveau, siger hun. Og det søgelys, som Floyds død har rettet mod racistisk politipraksis, har fremskyndet dens udbredte støtte.

Det burde virkelig ikke have taget politidrabene på George Floyd, Breonna Taylor og alt for mange andre sorte mennesker – og hundredtusindvis af mennesker, der gik på gaden over hele landet – for disse virksomheder at indse, at kravene fra sorte- og brunledede organisationer og lærde, fra ACLU og fra mange andre grupper var moralsk korrekte, siger Crockford. Men her er vi. Bedre sent end aldrig.

skjule