Bias er ikke det eneste problem med kreditscore - og nej, AI kan ikke hjælpe

Fru Tech | Cindy Tang/Unsplash

Vi vidste allerede, at forudindtaget data og skæve algoritmer skævvrider automatiseret beslutningstagning på en måde, der er til ulempe for lavindkomst- og minoritetsgrupper. For eksempel, software brugt af banker at forudsige, om nogen vil betale tilbage kreditkortgæld, favoriserer typisk rigere hvide ansøgere. Mange forskere og en række nystartede virksomheder forsøger at løse problemet ved gør disse algoritmer mere retfærdige .

Relateret historie

Den kommende krig mod de skjulte algoritmer, der fanger mennesker i fattigdom En voksende gruppe af advokater afdækker, navigerer og bekæmper de automatiserede systemer, der nægter de fattige boliger, job og basale tjenester.

Men i største undersøgelse nogensinde af realkreditdata , økonomer Laura Blattner ved Stanford University og Scott Nelson ved University of Chicago viser, at forskelle i realkreditgodkendelse mellem minoritets- og majoritetsgrupper ikke kun skyldes partiskhed, men til det faktum, at minoritets- og lavindkomstgrupper har færre data i deres kredit. historier.

Dette betyder, at når disse data bruges til at beregne en kreditscore, og denne kreditscore bruges til at lave en forudsigelse om misligholdelse af lån, så vil denne forudsigelse være mindre præcis. Det er denne mangel på præcision, der fører til ulighed, ikke kun skævhed.

Konsekvenserne er skarpe: mere retfærdige algoritmer løser ikke problemet.

Det er et virkelig slående resultat, siger Ashesh Rambachan, der studerer maskinlæring og økonomi på Harvard University, men ikke var involveret i undersøgelsen. Bias og usammenhængende kreditoptegnelser har været varme problemer i nogen tid, men dette er det første storstilede eksperiment, der ser på låneansøgninger fra millioner af rigtige mennesker.

Kreditvurderinger klemmer en række socioøkonomiske data, såsom beskæftigelseshistorie, økonomiske optegnelser og købsvaner, til et enkelt tal. Ud over at beslutte låneansøgninger, bruges kreditscore nu til at træffe mange livsændrende beslutninger, herunder beslutninger om forsikring, ansættelse og bolig.

For at finde ud af, hvorfor minoritets- og majoritetsgrupper blev behandlet forskelligt af realkreditinstitutter, indsamlede Blattner og Nelson kreditrapporter for 50 millioner anonymiserede amerikanske forbrugere og bandt hver af disse forbrugere til deres socioøkonomiske detaljer taget fra et marketingdatasæt, deres ejendomsskøder og realkredittransaktioner og data om de realkreditinstitutter, der har givet dem lån.

En grund til, at dette er den første undersøgelse af sin art, er, at disse datasæt ofte er proprietære og ikke offentligt tilgængelige for forskere. Vi gik til et kreditbureau og var i bund og grund nødt til at betale dem mange penge for at gøre det her, siger Blattner.

Støjende data

De eksperimenterede derefter med forskellige forudsigende algoritmer for at vise, at kreditscore ikke blot var forudindtaget, men støjende, en statistisk betegnelse for data, der ikke kan bruges til at lave præcise forudsigelser. Tag en minoritetsansøger med en kreditscore på 620. I et forudindtaget system kan vi forvente, at denne score altid overvurderer risikoen for den pågældende ansøger, og at en mere nøjagtig score for eksempel ville være 625. I teorien kan denne skævhed så forklares via en form for algoritmisk bekræftende handling, såsom at sænke tærsklen for godkendelse af minoritetsansøgninger.

Relateret historie

Podcast: Kan AI rette din kredit?

Ringvirkninger af automatisering i kreditvurdering rækker ud over økonomi

Men Blattner og Nelson viser, at justering for bias ikke havde nogen effekt. De fandt ud af, at en minoritetsansøgers score på 620 faktisk var en dårlig proxy for hendes kreditværdighed, men at det var fordi fejlen kunne gå begge veje: en 620 kan være 625, eller den kan være 615.

Denne forskel kan virke subtil, men den betyder noget. Fordi unøjagtigheden kommer fra støj i dataene snarere end skævhed i den måde, data bruges på, kan den ikke rettes ved at lave bedre algoritmer.

Det er en selvforstærkende cyklus, siger Blattner. Vi giver de forkerte mennesker lån, og en del af befolkningen får aldrig chancen for at opbygge de nødvendige data for at give dem et lån i fremtiden.

Blattner og Nelson forsøgte derefter at måle, hvor stort problemet var. De byggede deres egen simulering af et realkreditinstituts forudsigelsesværktøj og estimerede, hvad der ville være sket, hvis grænseansøgere, der var blevet accepteret eller afvist på grund af unøjagtige scores, havde fået deres beslutninger omvendt. For at gøre dette brugte de en række forskellige teknikker, såsom at sammenligne afviste ansøgere med lignende, der var blevet accepteret, eller se på andre kreditlinjer, som afviste ansøgere havde modtaget, såsom autolån.

Ved at sætte alt dette sammen, tilsluttede de disse hypotetiske nøjagtige lånebeslutninger i deres simulering og målte forskellen mellem grupperne igen. De fandt ud af, at når beslutninger om minoritetsansøgere og lavindkomstansøgere blev antaget at være lige så nøjagtige som dem for rigere, hvide, faldt forskellen mellem grupperne med 50 %. For minoritetsansøgere kom næsten halvdelen af ​​denne gevinst fra at fjerne fejl, hvor ansøgeren skulle have været godkendt, men ikke var det. Ansøgere med lav indkomst oplevede en mindre gevinst, fordi den blev opvejet af at fjerne fejl, der gik den anden vej: ansøgere, der skulle have fået afslag, men som ikke blev det.

Blattner påpeger, at adressering af denne unøjagtighed ville gavne långivere såvel som undertjente ansøgere. Den økonomiske tilgang giver os mulighed for at kvantificere omkostningerne ved de støjende algoritmer på en meningsfuld måde, siger hun. Vi kan estimere, hvor meget kreditmisallokering der opstår på grund af det.

Rette fejl

Men at løse problemet vil ikke være let. Der er mange grunde til, at minoritetsgrupper har støjende kreditdata, siger Rashida Richardson, en advokat og forsker, der studerer teknologi og race ved Northeastern University. Der er sammensatte sociale konsekvenser, hvor visse samfund måske ikke søger traditionel kredit på grund af mistillid til bankinstitutioner, siger hun. Enhver rettelse bliver nødt til at håndtere underliggende årsager . At vende generationer af skader vil kræve utallige løsninger, herunder nye bankregler og investeringer i minoritetssamfund: Løsningerne er ikke enkle, fordi de skal adressere så mange forskellige dårlige politikker og praksisser.

Relateret historie

Forudsigende politialgoritmer er racistiske. De skal skilles ad. Mangel på gennemsigtighed og partiske træningsdata betyder, at disse værktøjer ikke er egnede til formålet. Hvis vi ikke kan rette dem, bør vi droppe dem.

En mulighed på kort sigt kan være, at regeringen blot presser långivere til at acceptere risikoen ved at udstede lån til minoritetsansøgere, som bliver afvist af deres algoritmer. Dette ville give långivere mulighed for at begynde at indsamle nøjagtige data om disse grupper for første gang, hvilket ville gavne både ansøgere og långivere i det lange løb.

Et par mindre långivere begynder allerede at gøre dette, siger Blattner: Hvis de eksisterende data ikke fortæller dig meget, så gå ud og optag en masse lån og lær om folk. Rambachan og Richardson ser også dette som et nødvendigt første skridt. Men Rambachan mener, at det vil kræve et kulturskifte for større långivere. Idéen giver rigtig god mening for datavidenskabsfolket, siger han. Men når han taler med disse hold i banker, indrømmer de, at det ikke er et almindeligt synspunkt. De vil sukke og sige, at de ikke kan forklare det til forretningsteamet, siger han. Og jeg er ikke sikker på, hvad løsningen på det er.

Blattner mener også, at kreditvurderinger bør suppleres med andre data om ansøgere, såsom banktransaktioner. Hun glæder sig over den seneste meddelelse fra en håndfuld banker, herunder JPMorgan Chase, om, at de vil begynde at dele data om deres kunders bankkonti som en ekstra kilde til information for personer med dårlig kredithistorik. Men mere forskning vil være nødvendig for at se, hvilken forskel dette vil gøre i praksis. Og vagthunde bliver nødt til at sikre, at større adgang til kredit ikke går hånd i hånd med underlig låneadfærd, siger Richardson.

Mange mennesker er nu klar over problemerne med skæve algoritmer, siger Blattner. Hun vil have, at folk også begynder at tale om støjende algoritmer. Fokus på bias - og troen på, at det har en teknisk løsning - betyder, at forskere måske overser det bredere problem.

Richardson bekymrer sig om, at politikere vil blive overbevist om, at teknologien har svarene, når den ikke gør det. Ufuldstændige data er bekymrende, fordi opdagelsen af ​​dem vil kræve, at forskere har en ret nuanceret forståelse af samfundsmæssige uligheder, siger hun. Hvis vi ønsker at leve i et retfærdigt samfund, hvor alle føler, at de hører til og bliver behandlet med værdighed og respekt, så er vi nødt til at begynde at være realistiske med hensyn til alvoren og omfanget af problemer, vi står over for.

skjule