Den kommende krig mod de skjulte algoritmer, der fanger mennesker i fattigdom

Daniel Zender

Miriam var kun 21, da hun mødte Nick. Hun var fotograf, frisk ude af college, ventende borde. Han var 16 år ældre end hende og en lokal virksomhedsejer, der havde arbejdet med finans. Han var charmerende og karismatisk; han tog hende med ud på fancy dates og betalte for alt. Hun faldt hurtigt ind i hans kredsløb.

Det begyndte med ét kreditkort. På det tidspunkt var det den eneste, hun havde. Nick ville maksimere det med 5.000 USD i forretningskøb og straks betale det af næste dag. Miriam, som bad mig om ikke at bruge deres rigtige navne af frygt for at blande mig i deres igangværende skilsmissesag, opdagede, at dette øgede hendes kreditscore. Efter at være vokset op med en enlig far i en husstand med lav indkomst stolede hun på Nicks knowhow frem for sin egen. Han opmuntrede let til dynamikken og fortalte hende, at hun ikke forstod økonomi. Hun åbnede flere kreditkort til ham under sit navn.

Problemerne startede tre år efter. Nick bad hende sige sit job op for at hjælpe med hans forretning. Hun gjorde. Han fortalte hende, at hun skulle gå i gymnasiet og ikke bekymre sig om at øge hendes eksisterende studiegæld. Hun gjorde. Han lovede at tage sig af alt, og hun troede på ham. Kort efter holdt han op med at afregne hendes kreditkortsaldi. Hendes partitur begyndte at kratere.

Alligevel blev Miriam hos ham. De blev gift. De havde tre børn. Så en dag kom FBI til deres hus og arresterede ham. I en føderal domstol dømte dommeren ham for næsten 250.000 dollars for bedrageri. Miriam opdagede det fulde omfang af de titusindvis af dollars i gæld, han havde samlet op i hendes navn. Den dag, han kom i fængsel, havde jeg 250 dollars i kontanter, et hus på tvangsauktion, en bil til tilbagetagelse, tre børn, siger hun. Jeg gik inden for en måned fra at have en barnepige og bo i et dejligt hus og alt til bare virkelig dyb fattigdom.

Miriam er en overlevende fra det, der er kendt som tvungen gæld, en form for misbrug, der normalt begås af en intim partner eller et familiemedlem. Mens økonomisk misbrug er et langvarigt problem, har digital bankvirksomhed gjort det nemmere at åbne konti og optage lån i et offers navn, siger Carla Sanchez-Adams, en advokat hos Texas RioGrande Legal Aid. I en tid med automatiserede kreditvurderingsalgoritmer kan konsekvenserne også være langt mere ødelæggende.

Kreditscore er blevet brugt i årtier til at vurdere forbrugernes kreditværdighed, men deres omfang er langt større nu, hvor de er drevet af algoritmer: ikke alene tager de langt flere data i betragtning, både i mængde og type, men de påvirker i stigende grad, om du kan købe en bil, leje en lejlighed eller få et fuldtidsjob. Deres omfattende indflydelse betyder, at hvis din score er ødelagt, kan det være næsten umuligt at genoprette. Værre er det, at algoritmerne ejes af private virksomheder, der ikke afslører, hvordan de kommer til deres beslutninger. Ofre kan blive sendt i en nedadgående spiral, der nogle gange ender i hjemløshed eller en tilbagevenden til deres misbruger.

Kreditvurderingsalgoritmer er ikke de eneste, der påvirker folks økonomiske velbefindende og adgang til basale tjenester. Algoritmer bestemmer nu, hvilke børn der kommer i familiepleje, hvilke patienter der får lægehjælp, hvilke familier der får adgang til en stabil bolig. De af os med midler kan passere vores liv uvidende om noget af dette. Men for personer med lav indkomst har den hurtige vækst og indførelse af automatiserede beslutningstagningssystemer skabt et skjult net af sammenlåsende fælder.

Heldigvis begynder en voksende gruppe af civile advokater at organisere sig omkring dette spørgsmål. Ved at låne en spillebog fra den kriminelle forsvarsverdens tilbageslag mod risikovurderingsalgoritmer, søger de at uddanne sig selv i disse systemer, opbygge et fællesskab og udvikle retssagsstrategier. Grundlæggende begynder enhver civil advokat at beskæftige sig med disse ting, fordi alle vores klienter på en eller anden måde bliver berørt af disse systemer, siger Michele Gilman, en klinisk juraprofessor ved University of Baltimore. Vi skal vågne op, træne. Hvis vi vil være rigtig gode helhedsadvokater, skal vi være opmærksomme på det.

Skal jeg krydsforske en algoritme?

Gilman har praktiseret jura i Baltimore i 20 år. I hendes arbejde som civiladvokat og fattigdomsadvokat er hendes sager altid kommet ned på de samme ting: at repræsentere mennesker, der har mistet adgangen til basale behov, såsom bolig, mad, uddannelse, arbejde eller sundhedspleje. Nogle gange betyder det, at man står over for en offentlig myndighed. Andre gange er det hos et kreditoplysningsbureau eller en udlejer. I stigende grad involverer kampen om en klients berettigelse nu en form for algoritme.

Det sker over hele linjen for vores kunder, siger hun. De er indviklet i så mange forskellige algoritmer, der udelukker dem fra grundlæggende tjenester. Og det er kunderne måske ikke klar over, fordi mange af disse systemer er usynlige.

For personer med lav indkomst kan en midlertidig økonomisk modgang føre til en ond cirkel, der nogle gange ender i konkurs eller hjemløshed.

JON TYSON / UNSPLASH

Hun husker ikke præcis, hvornår hun indså, at nogle beslutninger om valgbarhed blev truffet af algoritmer. Men da den overgang først begyndte at ske, var det sjældent indlysende. Engang repræsenterede hun en ældre, handicappet klient, som på uforklarlig vis var blevet afskåret fra hendes Medicaid-finansierede hjemmehjælp. Vi kunne ikke finde ud af hvorfor, husker Gilman. Hun blev mere syg, og normalt, hvis du bliver sygere, får du flere timer, ikke færre.

Først da de stod i retssalen midt i et retsmøde, afslørede vidnet, der repræsenterede staten, at regeringen netop havde vedtaget en ny algoritme. Vidnet, en sygeplejerske, kunne ikke forklare noget om det. Selvfølgelig ikke - de købte det fra hylden, siger Gilman. Hun er sygeplejerske, ikke datalog. Hun kunne ikke svare på, hvilke faktorer der spiller ind. Hvordan vægtes det? Hvad er de resultater, du leder efter? Så der er jeg sammen med min advokatstuderende, som er i min klinik med mig, og det er sådan: 'Åh, skal jeg krydsforhøre en algoritme?'

For Kevin De Liban, en advokat hos Legal Aid of Arkansas, var ændringen lige så snigende. I 2014 indførte hans stat også et nyt system til distribution af Medicaid-finansieret hjemmehjælp, og afskærede en lang række mennesker, der tidligere havde været berettiget. På det tidspunkt kunne han og hans kolleger ikke identificere rodproblemet. De vidste kun, at noget var anderledes. Vi kunne genkende, at der var en ændring i vurderingssystemerne fra et spørgeskema på 20 spørgsmål til et elektronisk spørgeskema på 283 spørgsmål, siger han.

Det var to år senere, da en fejl i algoritmen igen bragte den under juridisk kontrol, at De Liban endelig kom til bunds i problemet. Han indså, at sygeplejersker fortalte patienterne: Nå, computeren gjorde det – det er ikke mig. Det var det, der tippede os, siger han. Hvis jeg havde vidst, hvad jeg vidste i 2016, ville jeg nok have gjort et bedre stykke arbejde som fortaler i 2014, tilføjer han.

En person går gennem så mange systemer på en daglig basis

Gilman er siden blevet meget mere kyndig. Fra sit udsigtspunkt, der repræsenterer klienter med en række problemer, har hun observeret stigningen og kollisionen af ​​to algoritmiske webs. Den første består af kreditrapporteringsalgoritmer, som dem, der fangede Miriam, som påvirker adgangen til private varer og tjenester som biler, hjem og beskæftigelse. Den anden omfatter algoritmer, der er vedtaget af offentlige myndigheder, og som påvirker adgangen til offentlige ydelser som sundhedspleje, arbejdsløshed og børnebidrag.

På kreditrapporteringssiden er væksten af ​​algoritmer blevet drevet af udbredelsen af ​​data, som er nemmere end nogensinde at indsamle og dele. Kreditrapporter er ikke nye, men i disse dage er deres fodaftryk langt mere ekspansivt. Forbrugerrapporteringsbureauer, herunder kreditbureauer, lejerscreeningsfirmaer eller kontrolbekræftelsestjenester, samler disse oplysninger fra en lang række kilder: offentlige registre, sociale medier, web-browsing, bankaktivitet, appbrug og mere. Algoritmerne tildeler derefter folk værdighedsscorer, som i høj grad indgår i baggrundstjek udført af långivere, arbejdsgivere, udlejere, endda skoler.

Offentlige myndigheder er på den anden side drevet til at vedtage algoritmer, når de ønsker at modernisere deres systemer. Fremstødet for at indføre webbaserede apps og digitale værktøjer begyndte i begyndelsen af ​​2000'erne og er fortsat med en bevægelse mod mere datadrevne automatiserede systemer og kunstig intelligens. Der er gode grunde til at søge disse ændringer. Under pandemien kæmpede mange dagpengesystemer med at håndtere den enorme mængde af nye anmodninger, hvilket førte til betydelige forsinkelser. Modernisering af disse ældre systemer lover hurtigere og mere pålidelige resultater.

Men softwareanskaffelsesprocessen er sjældent gennemsigtig og mangler derfor ansvarlighed. Offentlige instanser køber ofte automatiserede beslutningsværktøjer direkte fra private leverandører. Resultatet er, at når systemerne går skævt, efterlades de berørte personer – og deres advokater – i mørket. De annoncerer det ikke nogen steder, siger Julia Simon-Mishel, en advokat hos Philadelphia Legal Assistance. Det er ofte ikke skrevet i nogen form for policy-vejledninger eller policy-manualer. Vi er i en ulempe.

Manglen på offentlig kontrol gør også systemerne mere tilbøjelige til at fejle. En af de mest alvorlige funktionsfejl skete i Michigan i 2013. Efter en stor indsats for at automatisere statens dagpengesystem blev algoritmen fejlagtigt markeret over 34.000 personer for bedrageri . Det forårsagede et massivt tab af fordele, siger Simon-Mishel. Der var konkurser; der var desværre selvmord. Det var et helt rod.

Gilman bekymrer sig om, at coronavirus-relateret gæld og udsættelser vil blive kodificeret til kreditscore, hvilket gør det permanent sværere for folk at få job, lejligheder og lån.

SCOTT HEINS/GETTY BILLEDER

Individer med lav indkomst bærer hovedparten af ​​skiftet i retning af algoritmer. De er de mennesker, der er mest sårbare over for midlertidige økonomiske vanskeligheder, som bliver kodificeret i forbrugerrapporter, og dem, der har brug for og søger offentlige fordele. Gennem årene har Gilman set flere og flere sager, hvor klienter risikerer at komme ind i en ond cirkel. Én person går gennem så mange systemer i det daglige, siger hun. Det gør vi alle sammen. Men konsekvenserne af det er meget mere barske for fattige mennesker og minoriteter.

Hun tager en aktuel sag op i sin klinik som eksempel. Et familiemedlem mistede arbejde på grund af pandemien og blev nægtet dagpenge på grund af en automatiseret systemfejl. Familien kom derefter bagud med huslejebetalinger, hvilket fik deres udlejer til at sagsøge dem for udsættelse. Mens udsættelsen ikke vil være lovlig pga CDC's moratorium , vil retssagen stadig blive logget i offentlige registre. Disse optegnelser kan derefter indgå i lejerscreeningsalgoritmer, som kan gøre det sværere for familien at finde en stabil bolig i fremtiden. Deres manglende betaling af husleje og forsyningsselskaber kan også være en snert på deres kreditscore, hvilket igen har konsekvenser. Hvis de forsøger at oprette mobiltelefonservice eller optage et lån eller købe en bil eller ansøge om et job, har det bare disse overlappende ringvirkninger, siger Gilman.

Hvert tilfælde vil blive til et algoritmetilfælde

I september, Gilman, der i øjeblikket er fakultetsstipendiat ved Data and Society forskningsinstituttet, udgivet en rapport dokumentere alle de forskellige algoritmer, som fattigdomsadvokater kan støde på. Hedder Fattigdomslovgivning , det er meningen, at det skal være en guide for hendes kolleger på området. Opdelt i specifikke praksisområder som forbrugerlovgivning, familieret, bolig og offentlige ydelser, forklarer den, hvordan man håndterer spørgsmål, der rejses af algoritmer og andre datadrevne teknologier inden for rammerne af eksisterende love.

Hvis en klient bliver nægtet en lejlighed på grund af en dårlig kreditvurdering, anbefaler rapporten, at en advokat for eksempel først tjekker, om de data, der føres ind i scoringssystemet, er nøjagtige. I henhold til Fair Credit Reporting Act er rapporteringsbureauer forpligtet til at sikre gyldigheden af ​​deres oplysninger, men dette sker ikke altid. At bestride eventuelle fejlagtige krav kan hjælpe med at genoprette kundens kredit og dermed adgang til bolig. Rapporten anerkender dog, at eksisterende love kun kan gå så vidt. Der er stadig regulatoriske huller at udfylde, siger Gilman.

Gilman håber, at rapporten vil være et wake-up call. Mange af hendes kolleger er stadig ikke klar over, at noget af dette foregår, og de er ikke i stand til at stille de rigtige spørgsmål for at afdække algoritmerne. De, der er opmærksomme på problemet, er spredt rundt i USA, lærer om, navigerer og bekæmper disse systemer isoleret. Hun ser en mulighed for at forbinde dem og skabe et bredere fællesskab af mennesker, der kan hjælpe hinanden. Vi har alle brug for mere uddannelse, mere viden – ikke kun i loven, men i disse systemer, siger hun. I sidste ende er det som om, at hver sag bliver til en algoritme-case.

Relateret historie

Log ind for at blive smidt ud: Inde i USAs virtuelle udsættelseskrise Tusindvis af lejere bliver smidt ud af deres hjem via telefon og videoopkald.

På sigt ser hun til den strafferetlige verden for at få inspiration. Kriminelle advokater har været foran kurven, siger hun, i at organisere sig som et fællesskab og skubbe tilbage mod risikovurderingsalgoritmer, der bestemmer strafudmålingen. Hun ønsker at se civile advokater gøre det samme: skabe en bevægelse for at bringe mere offentlig kontrol og regulering til det skjulte net af algoritmer, deres klienter står over for. I nogle tilfælde skal det nok bare lukkes ned, fordi der ikke er nogen måde at gøre det retfærdigt, siger hun.

Med hensyn til Miriam, efter Nicks overbevisning, gik hun væk for altid. Hun flyttede med sine tre børn til en ny stat og sluttede sig til en nonprofitorganisation, der støtter overlevende fra tvungen gæld og vold i hjemmet. Gennem dem tog hun en række klasser, der lærte hende at styre sin økonomi. Organisationen hjalp hende med at afvise mange af hendes tvangsgæld og lære mere om kreditalgoritmer. Da hun gik for at købe en bil, nåede hendes kreditscore næsten ikke minimum med hendes far som medunderskriver. Siden da har hendes konsekvente betalinger på sin bil og hendes studiegæld langsomt genopbygget hendes kreditscore.

Miriam skal stadig være på vagt. Nick har sit CPR-nummer, og de er endnu ikke skilt. Hun bekymrer sig konstant om, at han kunne åbne flere konti, optage flere lån i hendes navn. I et stykke tid tjekkede hun sin kreditrapport dagligt for svigagtig aktivitet. Men i disse dage har hun også noget at se frem til. Hendes far, midt i 60'erne, ønsker at gå på pension og flytte ind. De to af dem er nu laser-fokuserede på at forberede sig på at købe et hus. Jeg er ret psyket over det. Mit mål er inden årets udgang at få det til 700, siger hun om sin score, og så er jeg helt klart klar til boligkøber.

Jeg har aldrig boet i et hus, som jeg har ejet, nogensinde, tilføjer hun. Han og jeg arbejder sammen for at spare op til et evigt hjem.

skjule