Hvem ejer dit ansigt?

Politiet har en historie med at bruge ansigtsgenkendelse til at arrestere demonstranter - noget aktivister ikke har glemt siden George Floyds død. I den sidste af en serie i fire dele om ansigtsgenkendelse udforsker værten Jennifer Strong vejen frem for teknologien og undersøger, hvordan politik kan se ud.

Vi mødes :

• Artem Kuharenko, NTechLab
• Deborah Raji, AI Now Institute
• Toussaint Morrison, musiker, skuespiller og Black Lives Matter-arrangør
• Jameson Spivack, Center for privatliv og teknologi

Credits

Denne episode blev rapporteret og produceret af Jennifer Strong, Tate Ryan-Mosley, Emma Cillekens og Karen Hao. Vi fik hjælp fra Benji Rosen. Vi er redigeret af Michael Reilly og Gideon Lichfield. Vores tekniske direktør er Jacob Gorski.

Afskrift af hele episoden

Toussaint Morrison : Dette sted var uhyggeligt stille den første weekend af udgangsforbuddet. Der var også meget stille politibiler, der kørte meget langsomt rundt her.

Jennifer Strong: Det er Toussaint Morrison. Han viser min producer, Tate Ryan Mosley, rundt i en park i Minneapolis, Minnesota, 2,5 km kørsel fra, hvor George Floyd blev dræbt den 25. maj, hvilket udløste, hvad der sandsynligvis er den største protestbevægelse i amerikansk historie.

Toussaint Morrison : Omkring en halv mil øst var der et forsøg på at brænde den femte politistation ned.

Jennifer Strong: Morrison er musiker, skuespiller, filmskaber, og i de sidste par måneder er han også blevet arrangør af Black Lives Matter-bevægelsen i Minneapolis.

Toussaint Morrison: Din vrede er fuldkommen berettiget. Din hud er smuk, og du er ikke den kriminelle, som de gør dig til.

Jennifer Strong: Han er kendt her. Aktivister ved, hvem han er. Offentlige embedsmænd ved, hvem han er. Og det mener han, at politiet nok også gør.

Tate Ryan-Mosley : Har du haft nogen samtaler med folk, der er bekymrede for at blive identificeret af politibetjente, som måske har billeder af dem ved de protester, der er en del af protesterne?

Toussaint Morrison: Der er helt sikkert en frygt. Jeg lærte det lidt for sent. Mit regeringsnavn og mit ansigt er derude. Så jeg mener, så ja, det har bestemt været en bekymring. Og jeg har hørt det fra sorte til hvide til, til alt der imellem folk.

Jennifer Strong: Selvom han siger, at demonstranter er mere bekymrede over deres fysiske sikkerhed lige nu - såsom at blive ramt af en bil.

Toussaint Morrison: Identitetsudflugt har ikke været noget, jeg har hørt så meget som at være bange for sit liv ved en egentlig march.

Jennifer Strong: Vi ved fra en undersøgelse foretaget af Buzzfeed, at politiet her har adgang til masser af overvågningsteknologi, inklusiv Clearviews ansigtsgenkendelsessoftware – som du vil huske fra episode to – plus at de har rokker, der fungerer som mobiltårne ​​til at fange mobildata, en lydovervågning system kaldet ShotSpotter og et kamerasystem med videoanalyse i lag ovenpå.

Føderale agenter fløj også en rovdyrdrone hen over protesterne. Og Morrison mener, at disse værktøjer er rettet forskelligt mod farvefællesskaber.

Toussaint Morrison: Nu behøver de ingen grund til at være mistænksom. Åh, jeg så, at dit ansigt var til dette stævne. Og, og jeg kan se, at det hænger sammen med noget andet. Tja, hvad hvis teknologien er forkert? De kommer ikke til at tro, at det muligvis ville, du ved, fordi de stoler på computeren. Så den teknologi øger en fare. Det er allerede farligt. Og det er allerede peget på farvede mennesker, handicappede, transfolk. Vi er, vi er hovedparten af ​​den teknologi. Så når du skaber den teknologi, hvem påvirker den så mest?

Jennifer Strong: Jeg er Jennifer Strong, og dette er del fire af vores serie om politi og ansigtsgenkendelse, hvor vi vil udforske vejen frem, og hvordan regulering kan se ud.

Toussaint Morrison : Fremad, jeg ved ikke, hvad der kommer til at ske,

men jeg, hvad jeg ved er, at der ikke vil være nogen vej tilbage, du ved, der vil ikke være nogen vej tilbage.

Jameson Spivek : Vi ved ikke, om politiet bruger ansigtsgenkendelse på den aktuelle bølge af protester, men vi ved to ting. Én, at mange af dem har evnen til at gøre det, og to - det er sket i fortiden.

Jennifer Strong: Jameson Spivek er en politikmedarbejder ved Center for Privatliv og Teknologi...

Jameson Spivek : ...som er en uafhængig tænketank, der er baseret på Georgetown Law School.

Jennifer Strong: Tilbage i 2015 brugte politiet i Baltimore sociale medier til at spore folk, der protesterede mod Freddie Grays død.

Ansigtsgenkendelse hjalp politiet med at identificere demonstranter med udestående kendelser, og de arresterede dem direkte fra folkemængderne.

Spivek er bekymret for, hvad det betyder for ytringsfriheden, hvis den fortsætter.

Jameson Spivek : Dette er virkelig bekymrende, fordi det modvirker politisk tale og deltagelse, som er beskyttet af det første ændringsforslag. Så hvis folk tror, ​​at de bliver identificeret eller arresteret for en forbrydelse, der ikke er relateret til protesterne, vil de ikke deltage. Så dette er, at målrette og afskrække sort politisk tale specifikt.

Jennifer Strong: Og mere generelt...

Jameson Spivek : Det flytter magtbalancen væsentligt mod regeringer. Det giver dem mulighed for at identificere og spore mange mennesker... på afstand og i hemmelighed. Og regeringen har aldrig haft mulighed for at overvåge offentligheden på denne måde. Dette er i bund og grund en løsning, der gør det muligt for politiet at udføre søgninger uden kendelse.

Jennifer Strong: Sådan ser han, at regulering begynder at tage form.

Jameson Spivek : En mulighed, der allerede er blevet indført, er bare at forbyde politiets brug af denne teknologi generelt. Det er mangelfuldt... Det letter hidtil usete niveauer af regeringsovervågning, og politiet har vist sig at misbruge det. På samme måde er en anden mulighed at placere et moratorium for politiets brug af ansigtsgenkendelse. Og det, det gør, er, at det giver offentligheden og folkevalgte tid til at komme op på, hvad denne teknologi er, hvordan den virker, hvordan politiet bruger den. Så er en anden mulighed bare at vedtage regulering, der tillader politiet at bruge den, men som har visse begrænsninger på deres mulighed for at bruge den.

Jennifer Strong: Ved at rapportere denne serie har vi talt med flere mennesker, der mener, at det ikke er muligt at reformere brugen af ​​ansigts-ID. ACLU siger, at det bør være nationalt forbudt. Og så er jeg nysgerrig efter, hvilken type regulering han mener, der virkelig ville gøre en forskel?

Jameson Spivek : Ting som at kræve en eftersøgningskendelse for sandsynlig årsag til enhver ansigtsgenkendelsessøgning, begrænsning af brugen til voldelige forbrydelser og forbud mod brug af ansigtsgenkendelse til immigrationshåndhævelse. Snævre forbud mod brug af ansigtsgenkendelse i forbindelse med ting som droner eller i politibårne kropskameraer eller til løbende overvågning, fordi ansigtsgenkendelse ikke bør bruges i liv eller død situationer. En anden ting er at have en obligatorisk, obligatorisk afsløring til tiltalte, at politiet bruger ansigtsgenkendelse til at identificere og derefter til sidst arrestere dem.

Jennifer Strong: Men selvom disse regler ikke kommer i stand, siger han, at vi skal...

Jameson Spivek : Test for at sikre, at det er nøjagtigt og ikke partisk, og at have rapporter om, hvordan det bruges, og og gennemsigtighed... Det er alle gode, og de er alle nødvendige... Men de er ikke nok. Vi har virkelig brug for disse, disse dybere reformer.

Jennifer Strong: Han siger, at det ikke kun kan være op til de virksomheder, der laver teknologien, at være ansvarlige for de regler, der styrer den.

Jameson Spivek : Vi skal være meget på vagt, og spørge os selv, er de ting, som disse virksomheder støtter i form af lovgivning, skal de virkelig beskytte folk eller er det bare en måde for virksomhederne at få klarhed over, hvordan teknologien er reguleret, men ikke rigtigt reguleret på en måde, der er stærk nok, som faktisk beskytter folk og så faktisk virkelig påvirker virksomhedens evne til at producere det. Jeg tror ikke, at de frivilligt vil opgive at sælge denne teknologi. så det er virkelig på lovgiverne at træde til.

Jameson Spivek : De fleste af de store virksomheder, der udvikler ansigtsgenkendelse for politiet og for regeringen, er mindre, mere specialiserede virksomheder, som de fleste ikke har hørt om.

Jennifer Strong: Et af de firmaer, som du sandsynligvis aldrig har hørt om, er NTechLab, selvom det først skabte bølger for omkring fem år siden, da det som en helt ny startup slog Google og vandt en international konkurrence med 95 procents nøjagtighed i en af ​​kategorierne .

Siden da har det russiske firma gentagne gange vundet biometrikonkurrencer afholdt af virksomheder som Amazon, af amerikanske regeringsorganer og universiteter.

Jennifer Strong: Og grundlæggeren af ​​virksomheden er denne mand...

Artem Kuharenko : Artem Kuharenko

Jennifer Strong: NTechLab er bedst kendt for sin app kaldet FindFace, som lader folk søge profiler på sociale medier med billeder på deres telefoner.

Er det beregnet til en bestemt gruppe mennesker, eller ønsker du, at det skal være tilgængeligt for alle på sociale medier?

Artem Kuharenko : Det var tilgængeligt for alle på internettet.

Jennifer Strong: Sådan beskrev John Oliver appen under et nyligt afsnit af HBO's Last Week Tonight.

John Oliver : Hvis du vil have en fornemmelse af, hvor skræmmende denne teknologi kunne være, hvis den bliver en del af hverdagen, så bare se, hvordan en russisk tv-vært demonstrerer en app kaldet FindFace... [newsreel] Hvis du befinder dig på en cafe med en attraktiv pige og du har ikke modet til at henvende dig til hende, intet problem. Alt du behøver er en smartphone og applikationen FindFace.

Jennifer Strong: Manden i denne video bruger appen til at tage et billede af en kvinde ved et andet bord. Det trækker øjeblikkeligt hendes profil op på Ruslands version af Facebook.

John Oliver : Bare forestil dig, at fra en kvindes perspektiv... bare rolig, jeg ved allerede, hvor du bor.

Jennifer Strong: Appen var et viralt hit. Men i disse dage er NTechLabs opmærksomhed på live ansigtsgenkendelse - hvilket betyder, at algoritmen fungerer i video, i realtid.

Et system, de installerede i byen Moskva, menes at være blandt de største af denne type i verden.

Artem Kuharenko : Lige nu er mere end 100.000 videokameraer tilsluttet systemet, og systemet viste sig at være meget nyttigt og nyttigt for byen.

Jennfier Strong: Altså 100.000 videokameraer, der fanger en milliard ansigter om måneden. Og han hævder, at systemet er meget, meget præcist.

Artem Kuharenko : Så det er kun én falsk accept pr. 10 milliarder sammenligninger. Det er et ud af 10 nuller.

Jennfier Strong : Den slags nøjagtighed er uhørt. Men vi kan heller ikke sige, at det er umuligt - og jeg kommer til hvorfor om et øjeblik. Hvad vi ved er, at det er meget sværere at opnå nøjagtighed på live video end på billeder.

Tidligere i denne serie talte vi om forsøg med levende ansigtsgenkendelse udført af Londons politi, der producerede en nøjagtighed på omkring 20 procent. Og en anden i New York City, der i løbet af sin testperiode ikke producerede en eneste korrekt match.

Men i Moskva siger Kuharenko, at hans system bliver brugt til at opklare forbrydelser i realtid. Herunder ved verdens største fodboldstævne:

Artem Kuharenko : Under FIFA World Cup i 2018 i Moskva blev mere end 100 kriminelle fanget på grund af systemet.

Jennfier Strong : NtechLab arbejder med mere end hundrede kunder i 20 lande – herunder den amerikanske chipproducent Nvidia og det kinesiske teleselskab Huawei. Det har også smart city-projekter i Dubai, fintech-projekter i Europa og detailpartnerskaber i Nord- og Sydamerika.

Virksomheden indsender nogle algoritmer til test af den amerikanske regering, men han siger, at de ikke kan gøre det for deres mest avancerede arbejde.

Fordi NIST – eller The National Institute of Standards and Technology – tester ansigtsgenkendelsesalgoritmer på fotos, og hans seneste systemer bruger video.

Artem Kuharenko: Deres test er ret langt fra virkelige scenarier.

Jennfier Strong: Og hvis statslige organer ikke indhenter teknologien, er virksomhederne mere eller mindre overladt til at revidere sig selv.

Artem Kuharenko : Ledende virksomheder på området har deres egne tests. I vores virksomhed har vi en masse forskellige test, inden vi sender det i produktion. Men problemet er, at der ikke er nogen uafhængig test, som vil være åben, hvor alle kan se og alle kan teste alle algoritmer.

Jennfier Strong : Denne sommer tilføjede NTechLab silhuetdetektion til deres videoplatform. Det bruges til at identificere personer i profilen.

De har også påtaget sig en ny rolle med den globale pandemi...

Artem Kuharenko: ...måle afstand mellem mennesker og finde områder, hvor mange mennesker står tæt på hinanden, så byen kunne forbedre de processer, som foregår i disse områder. Det hjalp også med at stoppe for udvidelse af coronavirus i Moskva.

Jennifer Strong : Nu, men da vi er midt i denne globale pandemi, hvor godt fungerer teknologien, når nogen bærer en maske?

Artem Kuharenko : Det virker med samme nøjagtighed som uden maske. Så det er næsten den samme nøjagtighed. Og vi har også en speciel algoritme, som kan fortælle, om der er en maske på en person, og om den er båret korrekt eller ej.

Jennfier Strong: At bære en maske har typisk fået nøjagtigheden af ​​disse systemer til at falde, herunder i en præ-pandemisk test af NTech Lab af NIST. Men pandemien har skabt noget af et våbenkapløb mellem virksomheder, der forsøger at bygge systemer, der læser maskerede ansigter. Agenturet siger også, at virksomhedens algoritmer ofte er blandt de mere nøjagtige, de tester.

Vi ved det simpelthen ikke.

Men maskeret eller ej, ansigtsgenkendelse er ikke det eneste, der sker på disse videofeeds.

Artem Kuharenko: Bildetektering... nummerpladegenkendelsen... og vi kombinerer al denne videoanalyse sammen, så den kan fungere som et helt system og udtrække så meget information fra videostrømmen som muligt. Ideelt set vil systemet være i stand til at udtrække så meget information, som mennesker kan se i videoen. Men algoritmen kan gøre det med en meget bedre hastighed. Og hvis mennesket kun kan behandle én videostream ad gangen, kan systemet behandle hundreder og hundredtusindvis af videoer i realtid.

Jennfier Strong: Er du nogensinde bekymret for, at nogen kan tage alt dit hårde arbejde og bruge det til at bygge en verden, du egentlig ikke ønsker at leve i?

Artem Kuharenko : Øh, det gør jeg ikke, jeg tror faktisk ikke på dette scenarie, fordi det er et helt, det er et godt scenarie for filmen, men det er et meget usandsynligt scenarie i det virkelige liv.

Artem Kuharenko : Som teknologivirksomhed forsøger vi altid at fortælle folk, så folk forstår, hvad der sker, og træffer beslutningen, om de vil have det eller ej.

Jennfier Strong : Ligesom grundlæggeren af ​​Clearview siger han, at det er op til os – almindelige mennesker og borgere over hele verden – at beslutte, om og hvordan vi skal leve med denne teknologi. I betragtning af de mange spørgsmål omkring gennemsigtighed og ansvarlighed ser det ikke ud til at være helt så nemt. Men der er mennesker, der prøver hårdt på at påtage sig det ansvar.

Og du møder en på et øjeblik.

Deb Raji: Jeg gætter på, at rejsen til, hvor vi er i dag, er opstået fra denne første form for at knække de rosenfarvede linser af, dette er en teknologi, der virker, og demonstrere, at den ikke virker for meget specifikke mennesker...og så senere åbner op, denne samtale om, hvad betyder det egentlig, at ansigtsgenkendelse virker?

Jeg er Debra Raji, og jeg er tech fellow på A-I now Institute.

Jennfier Strong : Det er baseret på NYU og arbejder på at forstå den sociale virkning af ansigtsgenkendelse og andre AI-teknologier.

Deb Raji: Du ved, hvordan kan vi faktisk begynde at føre samtaler omkring dets begrænsning, omkring offentliggørelsen af ​​dets brug, og hvordan udspiller det sig med hensyn til politiske begrænsninger?

Jennfier Strong : Som AI-forsker har hun en superkraft, som de fleste af os ikke har. Hun kan revidere de algoritmer, der får ansigts-id-produkter til at fungere... så længe virksomheder giver adgang.

Og hendes indsats tvinger forandring. Gnisten, der sendte hende ned ad denne vej, kom fra, hvad hun beskriver som en forfærdelig erkendelse under hendes college-praktik hos en maskinlæringsstartup.

Deb Raji : Vent et øjeblik, ansigtsgenkendelse virker faktisk ikke for alle.

Jennfier Strong: Hun arbejdede på en computervisionsmodel, der ville hjælpe kunder med at markere upassende billeder som usikre til arbejde. Problemet var, at det markerede billeder af farvede mennesker til en meget højere hastighed.

Så hun ledte efter problemet, og hun fandt det. Modellen lærte at genkende usikre billeder fra pornografi og sikre billeder fra stockfotos. Det viser sig, at porno er meget mere forskelligartet, og at mangfoldigheden fik modellen til automatisk at associere mørk hud med vildt indhold.

Startup nægtede at gøre noget ved det. Så hun gik på arbejde med disse problemer med en kvinde, vi mødte tidligere i denne serie – Joy Buolamwini – der som kandidatstuderende lavede et mere forskelligartet og afbalanceret datasæt. De brugte det til at auditere algoritmer i ansigts-ID-produkter, der allerede er på markedet.

Dette arbejde har en hel del at gøre med nutidens forståelse af, hvordan disse produkter svigter kvinder og farvede mennesker.

Men det kostede.

Deb Raji: Computervision-samfundet på det tidspunkt havde ikke disse samtaler omkring etik og samfund og retfærdighed. Ligesom, nu er vi meget mere komfortable med dette arbejde, men der var engang, hvor selv forskersamfundet også var meget fjendtligt og stillede spørgsmålstegn ved, hvad er det her? Hvad er din pointe her? Hvad er betydningen af ​​dette?

Jennfier Strong : Det ændrede sig over tid, og hun siger, at hun også har fundet støtte i de virksomheder, de reviderer.

Deb Raji : Og selvom deres institutionelle niveau eller virksomhedsniveau var defensiv. Disse personer i disse virksomheder kæmpede virkelig hårdt for at ændre deres virksomheders position og presse på for nogle af disse positioner, som vi ser i dag.

Jennfier Strong : Amazon og Microsoft satte for nylig en pause med at sælge deres ansigts-ID-systemer til retshåndhævelse. IBM holdt helt op med at arbejde på det.

Deb Raji : Der er denne form for yderligere anerkendelse med disse moratorier for at sige, vent, og faktisk, mens denne nuancerede samtale foregår med hensyn til at etablere denne politik og denne forordning, som vi har desperat brug for. Vi kommer ikke til at sælge den teknologi på samme tid. Og jeg synes, at erkendelsen og det hul er et vigtigt skridt fremad i samtalen.

Jennfier Strong : Så det haster med dette øjeblik, som hun kalder en pause. Og i denne pause er der meget, vi skal ordne.

Men hvis vi stoler på, at teknologivirksomheder går hele vejen med regulering?

Deb Raji : ...de kommer altid til kort.

VO: Og hun advarer om, at ansigts-ID kun er toppen af ​​isbjerget.

Deb Raji : Det er meget lettere at føre denne samtale om ansigter, end det er at have den om, forsikringsdata eller medicinske data, eller du ved, endda nogle af disse sociale sikringssystemer, selvom denne nøjagtige situation med denne uforholdsmæssige ydeevne også gælder til de sager.

Jennfier Strong : Så fremadrettet ønsker hun åbenhed og gennemsigtighed. Hun efterlyser også et ordentligt evalueringssystem.

Men i sidste ende:

Deb Raji: En stor del af magten er i hænderne på de politiske beslutningstagere, fordi store teknologivirksomheder bestemt ikke bør kontrollere samtalen.

Jennfier Strong : Vi kan være på et vendepunkt i vores forhold til ansigtsgenkendelse, og til hvordan det bliver brugt.

Og alligevel virker det sikkert at sige, at adoptionen af ​​denne teknologi sandsynligvis vil fortsætte i et hæsblæsende tempo og efterlade vores forståelse af dens kraft og virkning i støvet - medmindre vi virkelig stopper op og trækker vejret og sætter nogle regler for, hvem får adgang til billeder af vores ansigter, og hvad de kan gøre med dem.

Næste afsnit... vi går og stryger efter coronavirus i New York Citys undergrundsbane, mens vi udforsker AI's rolle i at få verdens offentlige transportsystemer op at køre igen.

Denne episode blev rapporteret og produceret af mig, Tate Ryan-Mosley, Emma Cillekens og Karen Hao. Vi fik hjælp fra Benji Rosen. Vi er redigeret af Michael Reilly og Gideon Litchfield. Vores tekniske direktør er Jacob Gorski.

Vi ses her om et par uger.

Tak fordi du lyttede, jeg er Jennifer Strong.

skjule