Live ansigtsgenkendelse sporer børn, der mistænkes for at være kriminelle

Fru Tech | Getty

I en national database i Argentina beskriver titusindvis af poster navne, fødselsdage og nationale ID'er på personer, der er mistænkt for forbrydelser. Databasen, kendt som Consulta Nacional de Rebeldías y Capturas (National Register of Fugitives and Arrests), eller CONARC, startede i 2009 som en del af en indsats for at forbedre retshåndhævelsen for alvorlige forbrydelser.

Men der er flere ting ved CONARC. For det første er det en almindelig tekst-regnearksfil uden adgangskodebeskyttelse, som let kan findes via Google Søgning og downloades af enhver. For en anden er mange af de påståede forbrydelser, som småtyveri, ikke så alvorlige - mens andre slet ikke er specificeret.

Mest alarmerende er dog alderen på den yngste påståede gerningsmand, kun identificeret som M.G., som er citeret for forbrydelser mod personer (ondsindet) - alvorlige kvæstelser. M.G. blev tilsyneladende født den 17. oktober 2016, hvilket betyder, at han er en uge genert på fire år.

Nu en ny undersøgelse fra Human Rights Watch har fundet ud af, at der ikke kun regelmæssigt tilføjes børn til CONARC, men databasen driver også et levende ansigtsgenkendelsessystem i Buenos Aires, som er implementeret af bystyret. Dette gør systemet sandsynligvis til det første kendte tilfælde af sin art, der bliver brugt til at jage børn, der er mistænkt for kriminel aktivitet.

Det er fuldstændig skandaløst, siger Hye Jung Han, en fortaler for børns rettigheder hos Human Rights Watch, som ledede forskningen.

Buenos Aires begyndte først at prøve live ansigtsgenkendelse den 24. april 2019. Implementeret uden nogen offentlig høring udløste systemet øjeblikkelig modstand. I oktober, en national borgerrettighedsorganisation anlagde sag at udfordre det. Som svar udarbejdede regeringen et nyt lovforslag - der nu gennemgår lovgivningsprocesser - der ville legalisere ansigtsgenkendelse i offentlige rum.

Systemet blev designet til at linke til CONARC fra begyndelsen. Mens CONARC selv ikke indeholder nogen billeder af sine påståede lovovertrædere, er det kombineret med billed-id'er fra det nationale register. Softwaren bruger mistænktes hovedbilleder til at scanne efter kampe i realtid via byens undergrundskameraer. Når systemet markerer en person, advarer det politiet om at foretage en anholdelse.

Systemet har siden ført til talrige falsk arrestationer (links på spansk), som politiet ikke har nogen fastlagt protokol til at håndtere. En mand, der fejlagtigt blev identificeret, blev tilbageholdt i seks dage og var ved at blive overført til et fængsel med maksimal sikkerhed, før han endelig afklarede sin identitet. En anden fik at vide, at han skulle forvente at blive markeret gentagne gange i fremtiden, selvom han havde bevist, at han ikke var den, politiet ledte efter. For at hjælpe med at løse forvirringen gav de ham et pas til at vise til den næste betjent, der kunne stoppe ham.

Der synes ikke at være nogen mekanisme til at kunne rette fejl i hverken algoritmen eller databasen, siger Han. Det er et signal til os om, at her er en regering, der har anskaffet en teknologi, som den ikke forstår særlig godt med hensyn til alle de tekniske og menneskerettighedsmæssige implikationer.

Alt dette er allerede dybt bekymrende, men at tilføje børn til ligningen gør tingene så meget værre. Selvom regeringen har offentligt afvist (link på spansk), at CONARC omfatter mindreårige, fandt Human Rights Watch mindst 166 børn opført i forskellige versioner af databasen mellem maj 2017 og maj 2020. I modsætning til M.G. er de fleste af dem identificeret med fulde navn, hvilket er ulovligt. I henhold til international menneskerettighedslovgivning skal børn, der er anklaget for en forbrydelse, have deres privatliv beskyttet under hele retssagen.

Også i modsætning til M.G. var de fleste 16 eller 17 på tidspunktet for indrejsen - selvom der på mystisk vis har været et par 1-3-årige. Aldre er ikke de eneste tilsyneladende fejl i børnenes indtastninger. Der er åbenlyse slåfejl, modstridende detaljer og nogle gange flere nationale ID'er opført for den samme person. Fordi børn også fysisk ændrer sig hurtigere end voksne, er deres billed-id mere i risiko for at blive forældet.

Oven i dette er ansigtsgenkendelsessystemer, selv under ideelle laboratorieforhold, notorisk dårlige til at håndtere børn, fordi de er trænet og testet primært på voksne. Buenos Aires-systemet er ikke anderledes. Ifølge officielle dokumenter (link på spansk), blev det kun testet på de voksne ansigter af bystatsansatte før indkøb. Tidligere amerikanske regeringstests af den specifikke algoritme, som det menes at bruge, tyder også på, at den klarer sig dårligere med en faktor på seks på børn (i alderen 10 til 16) end voksne (i alderen 24 til 40).

Alle disse faktorer sætter børn i en øget risiko for at blive fejlidentificeret og falsk anholdt. Dette kan skabe en uberettiget straffeattest med potentielt langvarige konsekvenser for deres uddannelse og beskæftigelsesmuligheder. Det kan også have indflydelse på deres adfærd.

Argumentet om, at ansigtsgenkendelse har en afslappende effekt på ytringsfriheden, er mere forstærket for børn, siger Han. Du kan bare forestille dig, at et barn [der er blevet falsk arresteret] ville være ekstremt selvcensurerende eller forsigtigt med, hvordan de opfører sig offentligt. Og det er stadig tidligt at prøve at finde ud af de langsigtede psykologiske virkninger – hvordan det også kan forme deres verdenssyn og tankegang.

Mens Buenos Aires er den første by, Han har identificeret ved at bruge live ansigtsgenkendelse til at spore børn, bekymrer hun sig over, at mange andre eksempler er skjult for øje. I januar, London meddelt at det ville integrere levende ansigtsgenkendelse i sine politioperationer. Inden for få dage sagde Moskva, at det havde det udrullet et lignende system på tværs af byen.

Selvom det endnu ikke er kendt, om disse systemer aktivt forsøger at matche børn, er børn allerede påvirket. I dokumentaren fra 2020 Kodet bias , er en dreng falsk tilbageholdt af Londons politi, efter at live ansigtsgenkendelse forveksler ham med en anden. Det er uklart, om politiet rent faktisk ledte efter en mindreårig eller en ældre.

Selv dem, der ikke er tilbageholdt, mister deres ret til privatliv, siger Han: Der er alle de børn, der passerer foran et ansigtsgenkendelsesaktiveret kamera, bare for at få adgang til metrosystemet.

Det er ofte nemt at glemme i debatter om disse systemer, at børn kræver særlige hensyn . Men det er ikke den eneste grund til bekymring, tilføjer Han. Det faktum, at disse børn ville være under den slags invasiv overvågning - de fulde menneskerettigheder og samfundsmæssige implikationer af denne teknologi er stadig ukendte. Sagt på en anden måde: Hvad der er dårligt for børn, er i sidste ende dårligt for alle.

skjule