Hvad sker der, når en algoritme tager fejl

I den første af en firedelt serie på FaceID udforsker værten Jennifer Strong den falske anholdelse af Robert Williams af politiet i Detroit. Det mærkelige ved Willliams' prøvelse var ikke, at politiet brugte ansigtsgenkendelse til at identificere ham - det er, at politiet fortalte ham om det. Der er ingen lov, der siger, at de skal. Episoden begynder at udpakke kompleksiteten af ​​denne teknologi og introducerer nogle vanskelige spørgsmål om dens brug.

Vi møder:

• Robert og Melissa Williams
• Peter Fussey, University of Essex
• Hamid Khan, Stop LAPDs spionkoalition

Credits:

Denne episode blev rapporteret og produceret af Jennifer Strong, Tate Ryan-Mosley og Emma Cillekens. Vi fik hjælp fra Karen Hao og Benji Rosen. Vi er redigeret af Michael Reilly og Gideon Lichfield. Vores tekniske direktør er Jacob Gorski. Særlig tak til Kyle Thomas Hemingway og Eric Mongeon.

Udskrift af hele episoden:

Robert Williams: Jeg var fuldstændig chokeret og chokeret over at blive arresteret ved højlys dag, foran min datter, foran min kone, foran mine naboer. Det var noget af det mest chokerende, jeg nogensinde var sket for mig.

Jennifer Strong: Det er Robert Williams. Han beskriver, hvad der skete uden for hans hjem i en velhavende forstad til Detroit kaldet Farmington Hills tilbage i januar.

Jennifer Strong: Dagen startede som alle andre.

Robert Williams: Det var bare en kedelig torsdag.

Jennifer Strong: Han rejste sig, gik på arbejde. Men så blev tingene underlige.

Robert Williams: I telefonen med Melissa omkring 4.

Jennifer Strong: Melissa er hans kone. De er midt i et opkald, da han hører den anden linje.

Robert Williams: Jeg klikker over. Jeg siger: 'Hej?'

'Robert?'

Og jeg tænker: 'Hvem er det her?'

'Du er nødt til at komme ned og give dig selv ind.'

'Hvem er det?'

'Betjent nogen fra det tredje område.'

'Og jeg skal melde mig til hvad?'

Så han sagde: 'Det kan jeg ikke fortælle dig.'

Og jeg siger: 'Så kan jeg ikke komme ned.'

'Nå, hvis du kommer ned, ville det være meget nemmere for dig. Du vil ikke have, at vi kommer ud til dit arbejde, vel?'

På dette tidspunkt tror jeg, det er et spøgekald.

Så jeg tænker: 'Se, mand, hvis du vil have mig, så kom og hent mig. Jeg vil være hjemme. Medbring en kendelse.' Og jeg lægger på ham.

Jennifer Strong: Melissa er hjemme og venter på sin mor og datter, og hun går for at hilse på dem, når de kommer ind.

Melissa Williams: Og da jeg gik igennem, kiggede jeg ud, og politibilen stod udenfor.

Og jeg sagde: 'Åh, så det var ikke et spøgekald. Der er virkelig mennesker her.'

Og de kom til døren.

Jeg svarede på det.

Og de stak ligesom foden ind i døren og sagde: 'Send Robert ud.'

Og jeg sagde: 'Han er her ikke.'

Og de sagde: 'Vi har lige set ham komme ud af den varevogn.'

Og jeg sagde: 'Det var min mor. Han er her ikke.'

Jennifer Strong: Det er klart, at noget er meget galt, men de ved ikke, hvad det er.

Robert Williams: Der må være en fejlagtig identitet eller noget. Jeg ved ikke hvorfor Detroit Police er hjemme hos mig.

Jennifer Strong: Det viste sig, at de var der, fordi ansigtsgenkendelsessoftware fejlagtigt havde matchet hans kørekortfoto til sikkerhedskameraoptagelser af en person, der stjal ure.

Robert Williams: Jeg trækker i indkørslen her, trækker op på min faste plads, hopper ud. Da jeg lukkede døren, er bilen i indkørslen og blokerer mig ind. Og de parkerede på denne måde, på tværs af min indkørsel, som om jeg ville bakke ud eller noget og prøve at lette.

Melissa Williams: Så snart han lukkede døren, var de lige ved ham.

Og jeg var her stadig, fordi jeg havde pigerne, og de begyndte allerede at lægge jern på ham, da vi kom derud.

Jennifer Strong: Han fortalte sin datter at gå ind igen, at politiet begik en fejl, og han ville være tilbage med det samme. Men han var ikke lige tilbage.

Politiet anholdt ham, og han tilbragte natten i fængsel. Han anede stadig ikke, hvad der foregik. Og han var vred.

Men han siger, at han som sort mand måtte overveje, hvad der kunne ske, hvis han lod det vise sig. Så han forblev rolig – og han ventede.

Næste morgen viste betjentene ham nogle billeder af en mand, der stjal ure. Bortset fra, at de billeder ikke var af ham. De var en anden.

Robert Williams: 'Så det er ikke dig?'

Jeg kiggede. Jeg sagde: 'Nej, det er ikke mig.'

Han vender endnu et papir om. Han siger: 'Det er vel heller ikke dig?

Jeg tog det papir op og holdt det ved siden af ​​mit ansigt. Og jeg sagde: 'Dette er ikke mig.'

Jeg tænkte: 'Jeg håber ikke, at I tror, ​​at alle sorte ser ens ud.'

Og så siger han: 'Computeren siger, det er dig.'

Hvis han bare havde taget billedet med sig, kunne han have set det op og ned, og han kunne være gået og sige, oh min dårlige. Det var ikke meningen at genere dig.

Jennifer Strong : Det, der er usædvanligt ved denne historie, er ikke, at ansigts-ID blev brugt til at finde en mistænkt. Det usædvanlige er, at Robert Williams fik at vide, fordi politiet ikke er forpligtet til at oplyse det. Ansigtsgenkendelse er ikke reguleret. Ikke hvordan det bruges af retshåndhævelse. Ikke hvordan det bruges af arbejdsgivere.

Jeg er Jennifer Strong. Og dette er episode et af en ny serie, der udforsker, hvad der sker, når alt omkring os bliver automatiseret. Vi sætter gang i tingene med et firedelt blik på ansigtsgenkendelse og politiarbejde. Vi vil møde folk, der bygger denne teknologi, kæmper imod den og prøver at regulere, hvordan den bliver brugt.

Jennifer Strong: Tænk på det på denne måde. Ansigtsgenkendelse bliver brugt som søgemaskine for kriminelle. Og dit ansigt er søgeordet.

I 2016 mente man, at ansigterne på halvdelen af ​​alle amerikanske voksne var opbevaret i systemer, politiet bruger til at navngive mistænkte. Nogle omtaler det som den evige opstilling. Men nationen kan være på et vendepunkt, både i forholdet til politiet og med denne teknologi. I juni satte teknologigiganterne Amazon og Microsoft en pause med at sælge deres ansigts-ID-produkter til retshåndhævelsen. IBM holdt helt op med at sælge det. Derefter vedtog New York City et lovforslag, der giver tilsyn med alle overvågningsteknologier, på trods af modstand fra NYPD. Og efter at den uretmæssige anholdelse af Robert Williams kom frem i lyset, siger Detroit Politi, at de kun vil bruge ansigts-ID til at efterforske voldelige forbrydelser. Og de vil gøre det med stillbilleder, fordi de er mere tilbøjelige til at give et nøjagtigt match. Men er det nok?

Peter Fussey: OK, så i øjeblikket er vi i East London, på et sted, der hedder Stratford.

Jennifer Strong: Jeg gik en tur med Peter Fussey tilbage i februar før pandemien.

Peter Fussey: Som historisk set har været et område med mange afsavn, som havde en frygtelig stor investering lige før OL i 2012, som blev afholdt her.

Jennifer Strong: Det er et sted, hvor Londons politi tester kameraer, der matcher ansigter med identiteter i realtid. Du er en del af et team, der arbejder med en national overvågningsstrategi. Er det rigtigt?

Peter Fussey: Så vi er en del af et forskningsprojekt. Vi ser på ny teknologi og menneskerettighedsimplikationerne adskilt fra det. Jeg arbejder også med overvågningskameraregulatoren i Storbritannien, og jeg leder en del af hans strategi om menneskerettigheder.

Jennifer Strong: Han studerede teknologisk overvågning i mere end 20 år.

Peter Fussey : Jeg begyndte at se på fjernsyn med lukket kredsløb, CCTV-kameraer. De er meget velkendte på gaden, CCTV. Jeg har altid været overrasket over, hvor lidt folk synes bekymrede over det. Jeg ville, du ved, komme med en underlig begrundelse for, hvorfor vi skulle regulere. Og det blev stort set mødt med ligegyldighed. Og ansigtsgenkendelse virker meget anderledes. Det har fanget offentlighedens fantasi. Det er i medierne på daglig basis.

Nyhedsoplæser: Nå, dit ansigt kan fortælle folk meget mere, end du måske tror. I en ny verden af ​​ansigtsgenkendelsesteknologi kan alle dine bevægelser spores.

Nyhedsoplæser: Disse shoppere ved det ikke, men en computer scanner deres ansigter og sammenligner deres træk med kendte butikstyve.

Mand interviewet: Det er forfærdeligt. Det er en krænkelse af privatlivets fred.

Kvinde interviewet: Denne teknologi bliver installeret uden offentligt tilsyn og ansvarlighed.

Anden kvinde interviewet: Vi bliver mobbet til at tage vores billede for at få vores nøgler.

Nyhedsoplæser: Selv popstjernen Taylor Swift implementerede i al hemmelighed teknologien for at udrydde stalkere.

Jennifer Strong: Men mens det offentlige ramaskrig har ført nogle steder til at forbyde teknologien, herunder teknologihubbyer som San Francisco og Cambridge, Massachusetts, hvor MIT er baseret, testede Londons politi en meget aggressiv version af den i 10 forskellige offentlige rum.

Peter Fussey: Det, du ser i Storbritannien, er levende ansigtsgenkendelse, hvilket betyder, at der er en database over personer, politiet er interesseret i. Så, mens offentligheden går forbi kameraet, bliver hver af disse personer scannet og derefter matchet med den database. Her udfører du overvågning før, du ved, enhver lovovertrædelse.

Jennifer Strong: Én ting er for en politiafdeling at holde et billede op af nogen for at forsøge at identificere dem i et system. Og det er noget helt andet at have live identifikation, der sker i realtid.

Peter Fussey: Ja, det er helt rigtigt. Og jeg synes, det er en rigtig vigtig del af debatten, som ofte forsvinder.

Den anden forskel er, at de eksisterende CCTV-kameraer, eller lavteknologisk, analog menneskelig overvågning, ikke involverer indfangning, behandling og vedligeholdelse og håndtering af biometriske data, som er en særlig kategori af data, og universelt ses som en påtrængende øve sig.

Jennifer Strong: Og den særlige kategori af data skal sorteres og opbevares sikkert. Og som han påpeger, kan intet menneske behandle volumen, der bliver fanget af disse systemer.

Peter Fussey: Det rejser nogle alvorlige spørgsmål om, hvor forholdsmæssigt det er, for eksempel. Hvor nødvendigt er det at biometrisk scanne titusindvis af mennesker, bare fordi du er interesseret i at tale med nogen. Hvis det nu er en kendt morder på fri fod, eller det eksempel, der altid er givet på, du ved, et terrorangreb, der er ved at ske, så er det anderledes. Du kan fremføre et meget stærkere nødvendigheds- og proportionalitetsargument omkring det, men mindre, hvis det bare er nogen, du er interesseret i at tale med om en hændelse med asocial adfærd eller sådan noget.

Jennifer Strong: Nå, det andet spørgsmål, når du siger, at mennesker ikke kan behandle den information, men det er også uklart, om teknologien kan endnu. Hvad sker der, hvis du bliver falsk identificeret?

Peter Fussey: Hvis kameraet siger, at du er mistænkt, du er en person på deres observationsliste, hvor mange gange ved vi, at det er korrekt? I vores undersøgelse fandt vi ud af, at det var korrekt otte gange ud af 42. Så otte gange på seks hele dage, siddende i politivogne.

Jennifer Strong: Han lavede den eneste uafhængige gennemgang af disse forsøg, og han fandt ud af, at den var nøjagtig mindre end 20 % af gangene.

Peter Fussey: Det kan fungere glimrende under laboratorieforhold. Men du ved, udenfor, som et miljø vi er i nu, er lyset ved at falme, det er vinterlys. Meget af efterretningsbilledet for mange af lovovertrædelserne er knyttet til natteøkonomien. Så ansigtsgenkendelse fungerer mindre godt i svagt lys, og alle mulige problemer omkring det.

Jennifer Strong: Det er også mindre effektivt på tværs af forskellige demografiske grupper.

Peter Fussey: Altså ikke kun etnicitet eller race etnicitet, men også køn. Og det folder sig så ud i en hel problemstilling omkring transkønnedes rettigheder og alder også. Børns ansigter, for eksempel, afgiver mindre information end et ansigt på en i 40'erne som mig selv. Hvorfor det er vigtigt er, at hvis politiet bruger en teknologi, som ikke er så effektiv for forskellige grupper, så, medmindre de er klar over disse begrænsninger, og medmindre de på en eller anden måde kan mildne dem, så er det umuligt at sige, at de bruger en teknologi, der er forenelig med menneskerettigheder.

Jennifer Strong: Hvordan afstemmer man en menneskerettigheds- og en overvågningsstrategi?

Peter Fussey: Vi tænker ofte på ting som sikkerhed som værende i modstrid med menneskerettighederne.

Det, der naturligvis er staternes første ansvar i henhold til FN's menneskerettighedserklæring, er, at staterne sørger for deres borgeres sikkerhed og tryghed. Så der er ofte denne indramning af frihed versus sikkerhed, som jeg selv og mine kolleger ville finde ret uhensigtsmæssigt. Du ved, du kan få begge dele, og du kan ikke få begge dele.

Jennifer Strong: Vi går til et andet sted, han vil vise mig.

Peter Fussey: Lige for enden af ​​denne bro kan du se en pæl med nogle kameraer på. Hvis du gik langs denne bro mod disse kameraer, ville du komme til et punkt, hvor der var et skilt, der sagde, at ansigtsgenkendelse var i funktion. Nu, hvis du ville fortsætte din rejse, skulle du gå forbi disse kameraer. Politiet sagde dog, at det var en retssag. Så hvis du ikke ville være en del af den retssag, måtte du vende om. Og at komme til det samme punkt ud over disse kameraer ville tage omkring en 20 minutters omvej.

Jennifer Strong: OK, så denne del er virkelig vigtig.

Peter Fussey: Her er der ikke noget reelt meningsfuldt samtykke. Hvis du trækker samtykket tilbage, fordi du ikke ønsker at være med i kameraet, så bør du kunne trække samtykket tilbage uden straf. Ellers er det ikke samtykke.

Jennifer Strong: Noget andet. Når du går ned ad gaden, er du så opmærksom på de gange, du krydser fra et offentligt fortov til beton, der er ejet af en virksomhed? Vidste du, at dine rettigheder til privatlivets fred kan være anderledes på blot nogle få trin?

Peter Fussey: Så her, hvor vi står, uden for Westfield Shopping Mall, er privat rum. Men vi føler, det er offentligt. Der er mange mennesker her omkring. Det har følelsen af ​​et offentligt rum. Det, der dog sker, er, at hvis du går 30 meter til venstre for os, er du på et offentligt område, og alle kameraer er ejet af offentlige myndigheder. Og hvis du går 30 meter til højre for os, er de ejet af private virksomheder.

Jennifer Strong: Hvad med den over dit hoved?

Peter Fussey: Hvilken en? Den der? Så ja, dette er ejet af et privat firma.

Jennifer Strong: Forskellen kommer tilbage til et enkelt punkt. Offentlige grupper er ansvarlige over for offentligheden.

Face ID fungerer ved at kortlægge det unikke sæt af mål mellem dine træk, såsom afstanden mellem dine øjne, længden af ​​din næse og krumningen af ​​dine læber. De tidligste systemer blev opfundet i 1960'erne. Men i årtier var teknologien ikke rigtig nyttig. Så i begyndelsen af ​​2000'erne oprettede den lokale retshåndhævelse i Florida et statsdækkende ansigtsgenkendelsesprogram. Et årti efter det opfandt Facebook en ny måde at begynde at genkende og automatisk tagge folk på billeder, hvilket hurtigt forbedrede ansigtsgenkendelse til det, vi har i dag. Nu er det meget brugt i lufthavne og af politiet, men der er lidt gennemsigtighed om, hvilke systemer der bruges eller hvordan.

Hamid Khan: Algoritmer har ingen plads i politiet. Jeg tror, ​​det er afgørende, at vi forstår det, fordi der er liv på spil.

Jennifer Strong: Hamid Khan er en aktivist, der kæmper mod brugen af ​​overvågning og mange andre teknologiske værktøjer, der bruges af Los Angeles Politi.

Hamid Khan: Hver gang overvågning bliver legitimeret, så er den åben for at blive udvidet over tid og er historisk blevet brugt til at spore og spore og overvåge og forfølge bestemte samfund,

Fællesskaber, der er fattige, samfund, der er sorte og brune, samfund, der ville blive betragtet som mistænkelige, queer, transkroppe. Det er en proces med social kontrol.

Jennifer Strong: Khan skabte Stop LAPD Spying Coalition, en gruppe, han beskriver som en voldsom afskaffelse.

Han mener ikke, at det vil fungere, at begrænse den måde, politiet bruger ansigts-ID på. Og så, under det, der bedst kan beskrives som en adoptionstsunami, med debatten mest fokuseret på bedste praksis, er hans fokus på at få disse teknologier forbudt. Og det er lykkedes. Adskillige datapoliti- og prædiktive politiprogrammer i Los Angeles sluttede efter offentligt og juridisk pres fra hans gruppe. For Khan er en del af, hvordan vi nåede til dette øjeblik, ved at ændre den måde, vi definerer på og kontrollere mistænkelig aktivitet,

Hamid Khan: Definitionen er, at dets observerede adfærd med rimelighed er indikativ for præoperativ planlægning af kriminel og/eller terroraktivitet. Så du observerer nogens adfærd, ikke en kendsgerning, men en bekymring for, at en person måske tænker på at gøre noget forkert, ikke? Så nu går det ind i, at spekulativt og fornemmelsesbaseret politiarbejde er reelt.

Jennifer Strong: Hvad vi ved, takket være akademisk og offentlig forskning, er, at ansigtsgenkendelse fungerer bedst på hvide mænd.

Joy Buolamwini : Hej kamera. Jeg har et ansigt. Kan du se mit ansigt? Ingen briller ansigt? Du kan se...

Jennifer Strong: Det er MIT-forsker, Joy Buolamwini, der holder en TED-tale.

Joy Buolamwini: Så hvad sker der? Hvorfor bliver mit ansigt ikke registreret? Nå, vi må se på, hvordan vi giver maskiner syn. Så hvordan det fungerer, er at du laver et træningssæt med eksempler på ansigter. Dette er et ansigt, dette er et ansigt, dette er ikke et ansigt. Og med tiden kan du lære en computer at genkende andre ansigter.

Jennifer Strong: Men hvis træningssættene egentlig ikke er så forskellige, vil ethvert ansigt, der afviger for meget fra den etablerede norm, være sværere at opdage, hvilket var det, der skete for mig.

I 2018 ledede hun en banebrydende undersøgelse, der viste, at kommercielle ansigtsgenkendelsessystemer gentagne gange undlod at klassificere mørkhudede kvinder.

Et år senere fandt en større rapport om ansigts-id fra et føderalt agentur kaldet NIST eller National Institute of Standards and Technology, at nogle ansigts-id-algoritmer var op til hundrede gange mere tilbøjelige til at matche billeder af farvede mennesker. Men selvom disse systemer kan konstrueres til at opnå perfekt nøjagtighed, kan de bruges på farlige måder. Og disse problemer går dybere end blot skæve data og ufuldkommen matematik.

Hamid Khan: Teknologien fungerer ikke af sig selv. Fra designet, til produktionen, til implementeringen, er der konstant indbygget bias. Og det er ikke kun folks skævheder. Det er kun en del af det. Det er den iboende skævhed i systemet.

Jennifer Strong: Næste afsnit, ville det være overraskende, at billeder af dig, inklusive nogle du måske aldrig har set, bliver brugt af virksomheder til at bygge ansigtsgenkendelsessystemer?

Hoan Ton-That: Husker du overhovedet dette billede på Twitter?

Jennifer Strong: Nej. Jeg vidste ikke, at det var taget, og jeg så meget...

Hoan Ton-That: Du gør. Du så meget seriøs ud i den.

Jennifer Strong: I anden del møder vi grundlæggeren af ​​en af ​​de mest kontroversielle virksomheder, der arbejder i dette område, Clearview AI's administrerende direktør, Hoan Ton-That.

Hoan Ton-That: Da vi byggede vores ansigtsgenkendelsesteknologi, udforskede vi mange forskellige ideer i mange forskellige sektorer, fra privat sikkerhed til gæstfrihed. Da vi gav det til nogle folk i retshåndhævelsen, var stigningen enorm. Og de ringede tilbage næste dag og sagde, vi løser sager. Det her er sindsygt. Om en uges tid havde vi et rigtig tykt hæfte.

Jennifer Strong: Denne episode blev rapporteret og produceret af mig, Tate Ryan-Mosley og Emma Cillekens. Vi fik hjælp fra Karen Hao og Benji Rosen. Vi er redigeret af Michael Riley og Gideon Lichfield. Vores tekniske direktør er Jacob Gorski. Særlig tak til Kyle Thomas Hemingway, Eric Mongeon og ACLU for at dele deres optagelser af Robert Williams.

Jennifer Strong: Tak for at lytte. Jeg er Jennifer Strong.

skjule