Podcast: Kan AI rette din kredit?

Fru Tech | Pexels

Kreditscore er blevet brugt i årtier til at vurdere forbrugernes kreditværdighed, men deres omfang er langt større nu, hvor de er drevet af algoritmer. Ikke alene tager de langt flere data i betragtning, både i mængde og type, men de påvirker i stigende grad, om du kan købe en bil, leje en lejlighed eller få et fuldtidsjob. I denne anden af ​​en serie om automatisering og vores tegnebøger undersøger vi, hvor meget de maskiner, der bestemmer vores kreditværdighed, er kommet til at påvirke langt mere end vores økonomiske liv.

Vi mødes:

• Chi Chi Wu, personaleadvokat ved National Consumer Law Center
• Michele Gilman, professor i jura ved University of Baltimore
• Mike de Vere, CEO for Zest AI

Credits:

Denne episode blev produceret af Jennifer Strong, Karen Hao, Emma Cillekens og Anthony Green. Vi er redigeret af Michael Reilly.

Afskrift:

[TEKNISK ANMELDELSE ID]

Miriam : Det var ikke ualmindeligt at blive låst ude af vores hotelværelse eller at have en nøgle, der ikke virkede, og han skulle ned i receptionen og håndtere det. Og det var ikke ualmindeligt at betale en regning på en restaurant og så få checken tilbage.

Jennifer: Vi vil kalde denne kvinde Miriam for at beskytte hendes privatliv. Hun var 21, da hun mødte den mand, hun ville giftes med... og... inden for få år... vende hendes liv... og hendes økonomiske situation... op og ned.

Miriam: Men han havde altid en grund, og det var altid en andens skyld.

Jennifer: Da de mødtes første gang, arbejdede Miram på to job, hun skrev budgetter på en tavle, og hun lavede et indhug i sin studiegæld.

Hendes kredit var ren.

Miriam: Han tog mig med ud til middag, og han tog mig med på små ture, du ved, ferietilbud på to eller tre nætter til stranden eller, du ved, lokale ting. Og han betalte altid for alt, og jeg syntes bare, det var så sjovt.

Miriam: Og så begyndte han at spørge, om han måtte bruge mine tomme kreditkort til en af ​​hans virksomheder. Og han ville opkræve det fulde beløb, omkring 5.000 og så betale det af inden for, jeg mener, to eller tre dage hver gang. Og han kaldte det bare flipping. Det skete i et stykke tid. Og i løbet af det blev det bare en normal ting. Og så holdt jeg ligesom op med at være opmærksom på det.

Jennifer: Indtil en dag ... hele hendes verden styrtede sammen.

Miriam: Jeg havde, lad os se en seksårig, en toårig og en fireårig, og det er Halloween-morgen, og vi er i spisestuen og gør os klar til at tage hende i børnehave. Og, um, FBI kom og arresterede min mand og ligesom, det er ligesom filmene, du ved, de gennemgår alle dine ting, og de sender en flok mænd med mudrede støvler og våben ind i dit hus.

Jennifer: En føderal dommer dømte hendes mand for at have begået en kvart million dollars i svig... og Miriam opdagede titusindvis af dollars i gæld i hendes navn.

Hun blev overladt til at samle stumperne op... og økonomien.

Miriam : Jeg mener, min kreditscore var under 500 på et tidspunkt. Jeg mener, det er bare styrtdykket, og det tager lang tid at grave ud af det, men jeg har lært, at det er lidt efter lidt... som jeg skulle uddanne mig til. Jeg mener, siden hele denne debacle her, um, har jeg aldrig gået glip af noget. Det er ligesom ... vigtigere for mig end de fleste ting ... er at holde min kreditscore gylden.

Jennifer: Hun er en overlevende fra det, der er kendt som tvangsgæld. Det er en form for økonomisk misbrug ... normalt af en partner eller et familiemedlem.

Miriam: Der er ingen fysiske sår. Ret. Og der er, det her, er ikke noget, du bare kan lide at ringe til politiet på nogen. Og det er heller ikke normalt en fjendtlig situation. Det er normalt smukt, det er en rolig samtale, hvor han arbejder sig ind og så får det, han vil have.

Jennifer: Økonomisk misbrug er ikke nyt... men ligesom identitetstyveri er det blevet meget nemmere i en digital verden af ​​onlineformularer og automatiserede beslutninger.

Miriam: Jeg ved, hvad en algoritme er. Det forstår jeg. Men hvad mener du med min kreditalgoritme?

Jennifer: Hun kom på fode igen ... men mange gør det ikke ... og da algoritmer fortsætter med at overtage vores finansielle kreditsystem ... nogle hævder, at dette kan blive meget værre.

Gilman: Vi har et system, der får mennesker, der oplever modgang ude af deres kontrol, til at ligne deadbeats, hvilket igen påvirker deres evne til at få de nødvendige muligheder for at undslippe fattigdom og opnå økonomisk stabilitet.

Jennifer: Men andre hævder ret algoritmer til kreditvurdering ... kunne være indgangen til en bedre fremtid ... hvor skævheder kan udryddes ... og systemet gøres mere retfærdigt.

Fra Vere: Så fra mit perspektiv er kredit lig med muligheder. Det er virkelig vigtigt som samfund, at vi får det rigtigt. Vi tror på, at der kan være en 2.0-version af det, der udnytter maskinlæring.

Jennifer: Jeg er Jennifer Strong, og i denne anden af ​​en serie om automatisering og vores tegnebøger... undersøger vi, hvor meget de maskiner, der bestemmer vores kreditværdighed.. er kommet til at påvirke langt mere end vores økonomiske liv.

[IMWT ID]

Jennifer: Det plejede at være, når nogen ville have et lån ... de dannede relationer med folk i en bank eller kreditforening, som tog beslutninger om, hvor sikker eller risikabel den investering virkede.

Som denne scene fra 1940'ernes juleklassiker, It's a Wonderful Life... hvor filmens hovedperson beslutter sig for at låne sine egne penge til kunder for at holde sin virksomhed flydende... efter et forsøg på at løbe på banken.

George: Jeg fik $2.000! Her er 2000 $, det vil binde os, indtil banken genåbner. Okay, Tom, hvor meget har du brug for?

Tom: $242.

George: Åh Tom. Lige nok til at give dig tid, indtil banken genåbner—.

Tom: Jeg tager $242!

George: Der er du.

Tom: Det lukker min konto.

George: Din konto er her stadig. Det er et lån!

Jennifer: I disse dage yder banker lån uden nogensinde at møde mange af deres kunder ... Ofte er disse beslutninger automatiserede ... baseret på data fra din kreditrapport ... som sporer ting som kreditkortsaldi, billån, studiegæld ... og inkluderer en blanding af andre personlig data…

I 1950'erne ønskede industrien en måde at standardisere disse rapporter... så dataforskere fandt ud af en måde at tage den information på... køre den gennem en computermodel og spytte et tal ud...

Det er din kreditscore ... og det er ikke kun banker, der bruger dem til at træffe beslutninger. Afhængigt af hvor du bor, henviser alle slags grupper til dette nummer... inklusive udlejere...forsikringsselskaber... endda, arbejdsgivere.

Wu: Forbrugerne er ikke kunder for kreditbureauer. Det er vi, eller vores data er varen. Vi er ikke kunderne, vi er kyllingen. Vi, vi er den ting, der bliver solgt...

Jennifer: Chi Chi Wu er forbrugeradvokat og advokat ved National Consumer Law Center.

Wu: Og derfor er incitamenterne på dette marked lidt forvirrede. Incitamenterne skal tjene kreditgivernes og andre brugere af indberetninger og ikke forbrugernes behov.

Jennifer: Når det kommer til kreditrapporter, er der tre nøglepassere…. Equifax, Experian og Transunion.

Men disse rapporter er langt fra omfattende ... og de kan være unøjagtige.

Wu: Der er uacceptabelt høje niveauer af fejl i kreditrapporter. Øh, nu fandt data fra den endelige undersøgelse fra den føderale handelskommission, øh, en ud af fem forbrugere havde en bekræftet fejl på deres kreditrapport. Og én ud af 20 eller 5 % havde en fejl, der var så alvorlig, at den ville få dem til at blive nægtet kredit, eller de skulle betale mere.

Jennifer: Klager til den føderale regering over disse rapporter er eksploderet i de seneste år ... og sidste år under pandemien? Klager over fejl blev fordoblet.

Disse udgør mere end halvdelen af ​​alle klager indgivet til C-F-P-B - eller Consumer Financial Protection Bureau i den amerikanske regering.

Men Wu mener, at selv uden fejl, er den måde, hvorpå kreditscore bruges... et problem.

Wu: Så problemet er arbejdsgivere... udlejere. De begynder at se på kreditrapporter og kreditvurderinger som en slags afspejling af en persons underliggende ansvar, deres værdi som person, deres karakter. Og det er bare helt forkert. Det, vi ser, er, at folk ender med negative oplysninger på deres kreditrapport, fordi de har kæmpet økonomisk, fordi der er sket noget slemt med dem. Altså folk, der har mistet deres arbejde, som er blevet syge. Øh, de kan ikke betale deres regninger. Og denne pandemi er den perfekte illustration af det, og du kan virkelig se dette i de racemæssige forskelle i kreditvurdering. Kreditvurderingerne for sorte samfund er meget lavere end for hvide samfund, og for Latin X-samfund er det et sted midt imellem. Og har intet med karakter at gøre. Det har alt at gøre med ulighed.

Jennifer: Og da industrien erstatter ældre kreditvurderingsmetoder med maskinlæring ... bekymrer hun sig om, at dette kan forankre problemet.

Wu: Og hvis det ikke kontrolleres, hvis der ikke er bevidst kontrol for dette, hvis vi ikke er på vagt over for dette, vil det samme ske med de algoritmer, der skete med kreditscoring, hvilket vil være, de vil hæmme fremskridtet for de historisk marginaliserede samfund .

Jennifer: Hun bekymrer sig især om virksomheder, der lover, at deres kreditvurderingsalgoritmer er mere retfærdige, fordi de bruger alternative data....data, der angiveligt er mindre tilbøjelige til racemæssig skævhed...

Wu: Ligesom din mobiltelefonregning, eller din husleje, um, til de mere funky frynsede, big data. Hvad er der i dit sociale medie-feed for den første type alternative data, der er en slags konventionel eller økonomisk, um, mit mantra har været djævelens i detaljen. Nogle af de data ser lovende ud. Andre typer af disse data kan være meget risikable. Så det er min bekymring omkring kunstig intelligens og maskinlæring. Ikke at vi aldrig skal bruge dem. Du skal bare bruge dem, ikke? Du skal bruge dem med vilje. De kunne være løsningen. Hvis de får at vide, er et af dine mål at minimere uligheder for marginaliserede grupper. Du ved, at dit mål er at være lige så forudsigelig eller mere forudsigelig med færre forskelle.

Jennifer: Kongressen overvejer at begrænse arbejdsgivernes brug af kreditrapporter ... og nogle stater har flyttet for at forbyde dem i at fastsætte forsikringssatser ... eller adgang til billige boliger.

Men bevidsthed er også et problem.

Gilman: Der er en masse kreditrapporteringsskader, der påvirker folk uden deres viden. Og hvis du ikke ved, at du er kommet til skade, kan du ikke få hjælp eller midler,

Jennifer: Michelle Gilman er professor i klinisk jura ved University of Baltimore...

Gilman: Jeg blev ikke undervist i algoritmisk beslutningstagning på jurastudiet, og de fleste jurastuderende er det stadig ikke. Og de kan blive meget skræmt af tanken om at skulle udfordre en algoritme.

Jennifer: Hun er ikke sikker på, hvornår hun først bemærkede, at algoritmer tog beslutninger for hendes klienter. Men et tilfælde skiller sig ud... af en ældre og handicappet klient, hvis hjemmesygeplejetimer under Medicaid-programmet blev skåret drastisk ned... selvom klienten blev mere syg...

Gilman: Og det var først, da vi var for en forvaltningsretlig dommer i en anfægtet høring, at det blev klart, at nedskæringen i timer skyldtes en algoritme. Og alligevel kunne vidnet for staten, som var sygeplejerske, ikke forklare noget om algoritmen. Hun blev bare ved med at gentage igen og igen, at det var internationalt og statistisk valideret, men hun kunne ikke fortælle os, hvordan det fungerede, hvilke data der blev indført i det, hvilke faktorer det vejede, hvordan faktorerne blev vejet. Så min advokatstuderende kigger på mig, og vi kigger på hinanden og tænker, hvordan krydsforsker vi en algoritme?

Jennifer: Hun kom i kontakt med andre advokater rundt om i landet, som oplevede det samme. Og hun indså, at problemet var langt større ...

Gilman: Og når det kommer til algoritmer, fungerer de på tværs af næsten alle aspekter af vores klients liv.

Jennifer: Og kreditrapporteringsalgoritmer er de mest gennemgående.

Hendes firma ser ofre, der bliver belemret med uventet gæld ... nogle gange på grund af modgang ... andre gange fra lægeregninger ... eller ... på grund af identitetstyveri, hvor en anden tager lån i dit navn ...

Men virkningen er den samme ... det tynger kreditscore ... og selv når gælden er ryddet, kan det have langsigtede virkninger.

Gilman: Som en god forbrugeradvokat skal vi vide, at det nogle gange ikke er nok at løse den faktiske retssag foran dig. Du skal også gå ud og rydde op i ringvirkningerne af disse algoritmiske systemer. Mange fattigdomsadvokater deler de samme skævheder, som den almindelige befolkning gør med hensyn til at se et computergenereret resultat og tro, det er neutralt, det er objektivt, det er korrekt. Det er på en eller anden måde magi. Det er ligesom en lommeregner. Og ingen af ​​disse antagelser er sande, men vi har brug for træningen og ressourcerne til at forstå, hvordan disse systemer fungerer. Og så skal vi som fællesskab udvikle bedre værktøjer, så vi kan udspørge de systemer, så vi kan udfordre disse systemer.

Jennifer: Efter pausen... Vi ser på indsatsen for at automatisere retfærdighed i kreditrapportering.

[midroll]

Fra Vere: AI hjælper på to måder: det er mere data og bedre matematik. Og så hvis du tænker på begrænsninger på nuværende matematik, ved du, de kan trække et par dusin variabler ind. Og, øh, hvis jeg prøvede at beskrive for dig Jennifer, øh, med to dusin variabler, du ved, kunne jeg nok komme til en ret god beskrivelse, men tænk hvis jeg kunne trække flere data ind og jeg beskrev dig med 300 til tusinde variabler, der signalerer og opløsning resulterer i en langt mere præcis forudsigelse af din kreditværdighed som låntager.

Jennifer: Mike de Vere er administrerende direktør for Zest AI. Det er en af ​​flere virksomheder, der søger at tilføje gennemsigtighed til kredit- og lånegodkendelsesprocessen... med software designet til at tage højde for nogle af de aktuelle problemer med kreditscore... inklusive race, køn og andre potentielle skævheder.

For at forstå, hvordan det virker... har vi først brug for lidt kontekst. I USA er det ulovligt for långivere (bortset fra realkreditinstitutter) at indsamle data om race. Det var oprindeligt meningen forhindre forskelsbehandling.

Men en persons race har en stærk sammenhæng med deres navn ... hvor de bor ... hvor de gik i skole ... og hvor meget de bliver betalt. Det betyder...selv uden racedata...en maskinlæringsalgoritme kan lære at skelne alligevel...simpelthen fordi den er indbygget.

Så långivere forsøger at tjekke for dette og luge ud af diskriminationen i deres udlånsmodeller. Det eneste problem? For at verificere, hvordan du har det, har du lidt brug for at kende låntagernes race... uden det... er långivere tvunget til at foretage et kvalificeret gæt.

Fra Vere: Så den accepterede tilgang er et akronym BISG, og den bruger grundlæggende to variabler, dit postnummer og dit efternavn. Så mit navn er Mike De Vere, og den del af Californien, jeg kommer fra, med et navn som det ville jeg komme ud som latinamerikansk eller latinsk X, men alligevel er jeg irsk.

Jennifer: Med andre ord ... industristandarden for, hvordan man gør dette, er ofte fuldstændig forkert. Så hans virksomhed har en anden tilgang.

Fra Vere: Vi tror på, at der kan være en 2.0-version af det – ved at udnytte maskinlæring.

Jennifer: I stedet for at forudsige race på kun to variabler ... bruger den mange flere ... som personens fornavn og mellemnavn ... og andre geografiske data - som deres folketælling ... eller skolebestyrelsesdistrikt.

Han siger i en nylig test i Florida, at denne metode overgik standardmodellen med 60 procent.

Fra Vere: Hvorfor betyder det noget? Det betyder noget, fordi det er din gårdstok til, hvordan du har det.

Jennifer: Derefter tager han en tilgang kaldet adversarial de biasing.

Grundtanken er det her . Virksomheden starter med en maskinlæringsmodel, der er trænet til at forudsige, hvor risikabel en given låntager er.

Fra Vere: Lad os sige, at den har 300 til 500 datapunkter til at tildele risiko for en person.

Jennifer: Den har så en anden maskinlæringsmodel, der forsøger at gætte den pågældende låners race... (baseret på resultaterne af den første).

Hvis forudsigelserne af den anden model matcher output fra race-forudsigeren... siger han, at det betyder, at systemet koder for bias... og bør justeres... ved at justere, hvor meget det vejer hvert af datapunkterne.

Fra Vere: Så de 300 til 500 signaler kan vi tune op eller tune ned, hvis det bliver en proxy for race. Og så det, du ender med, er ikke kun en performant model, der leverer god økonomi, men samtidig har du en model, der er næsten farveblind i den proces.

Jennifer: Han siger, at det har ført til mere inkluderende udlånspraksis.

Fra Vere: Vi arbejder med en af ​​de største kreditforeninger i USA ud af Florida. Og så hvad det betyder for vores kreditforening er mere ja til flere af deres medlemmer. Men det, de virkelig var begejstrede for, var, at det var en stigning på 26 % i godkendelsen for kvinder. Femogtyve procent stigning i godkendelse for medlemmer af farve.

Jennifer: Selvom det er opmuntrende... Enhver, der hævder at have en løsning på årtiers skade forårsaget af algoritmisk beslutningstagning... vil have meget at overvinde for at vinde folks tillid.

Det er en opgave, der bliver endnu sværere, når den foreslåede rettelse til en dårlig algoritme... er en anden algoritme.

Finansministeriet udsendte for nylig vejledning - der fremhævede brugen af ​​AI-kreditgaranti som en nøglerisiko for banker... advarede om omkostningerne, der følger med deres uigennemsigtige karakter... og tilføjede en bemærkning, som bankledelsen?.. burde være i stand til at forklare. og forsvare tegnings- og modelleringsbeslutninger.

Hvilket... selv med de mest gennemsigtige værktøjer... stadig føles som en stor opgave.

Og uden moderne regulering er det også uklart, hvem der overvåger disse kreditscoringsmonitorer ... og hvem bestemmer, om ting som telefondata eller information fra sociale medier er fair play?

Især mens slutresultaterne fortsætter med at blive brugt til ikke-kreditformål... såsom beskæftigelse eller forsikring.

[KREDITTER]

Denne episode blev produceret af mig, Karen Hao, Emma Cillekens og Anthony Green. Vi er redigeret af Michael Reilly.

Tak fordi du lyttede, jeg er Jennifer Strong.

[TEKNISK ANMELDELSE ID]

skjule