Der er en nem måde at gøre udlån mere retfærdigt for kvinder. Problemet er, at det er ulovligt.

Kreditscore overlejret på mandlige og kvindelige symboler.

Kreditscore overlejret på mandlige og kvindelige symboler. Selman Design





Tidligere på ugen lancerede New Yorks Department of Financial Services en undersøgelse af Goldman Sachs for potentiel kreditdiskrimination efter køn. Undersøgelsen kom efter, at webiværksætteren David Heinemeier Hansson tweetede, at Apple-kortet, som Goldman administrerer, havde givet ham en kreditgrænse 20 gange, der gik til hans kone, selvom de to indgav fælles selvangivelse, og hun havde den bedre kreditscore.

Som svar udsendte Goldman en erklæring, hvori han sagde, at den ikke tog køn i betragtning, når kreditværdigheden skulle afgøres. Logikken var sandsynligvis ment som et forsvar - hvordan kan du diskriminere kvinder, når du ikke engang ved, at nogen er en kvinde? Men faktisk er det netop problemet at undlade at redegøre for køn. Forskning i algoritmisk retfærdighed har tidligere vist, at det faktisk hjælper at overveje køn afbøde kønsbias. Ironisk nok er det dog ulovligt at gøre det i USA.



Nu udfordrer de foreløbige resultater fra en igangværende undersøgelse finansieret af FN-fonden og Verdensbanken igen retfærdigheden af ​​kønsblinde kreditlån. Undersøgelsen viste, at skabelsen af ​​helt separate kreditværdighedsmodeller for mænd og kvinder gav flertallet af kvinder mere kredit.

Altså: skal loven opdateres?

Sexismen ved at være kønsblind

Hvis du ikke ønsker at diskriminere efter køn, hvorfor så ikke bare fjerne køn fra ligningen? Dette var præmissen for Lov om lige kreditmuligheder (ECOA), vedtaget i USA i 1974, i en tid, hvor kvinder regelmæssigt blev nægtet kredit. Det gjorde det ulovligt for enhver kreditor at diskriminere på grundlag af køn eller at overveje køn ved vurdering af kreditværdighed. (I 1976 blev den opdateret for at forbyde diskrimination på grund af race, national oprindelse og andre karakteristika beskyttet af den føderale regering.)



Men i maskinlæring kan kønsblindhed være problemet. Selv når køn ikke er specificeret, kan det let udledes af andre variabler, der korrelerer meget med det. Som et resultat heraf forstærker modeller, der er trænet på historiske data frataget køn, stadig tidligere uligheder. Det samme gælder race og andre egenskaber. Dette er sandsynligvis, hvad der skete i Apple Card-sagen: fordi kvinder historisk blev givet mindre kredit, lærte algoritmen at fastholde dette mønster.

I en undersøgelse fra 2018 , fandt et samarbejde mellem dataloger og økonomer ud af, at den bedste måde at afbøde disse problemer var faktisk at genindføre karakteristika som køn og race i modellen. Dette giver mulighed for mere kontrol til at måle og vende eventuelle manifesterede skævheder, hvilket resulterer i mere retfærdighed generelt.

Kønsdifferentieret kreditudlån

Den seneste undersøgelse tester en ny hypotese: ville adskilte modeller for mænd og kvinder reducere kønsbias yderligere? Ved en begivenhed arrangeret af FN-fonden tirsdag præsenterede Sean Higgins, en adjunkt ved Northwestern University og en forsker i undersøgelsen, foreløbige resultater, der tyder på, at de ville.



I samarbejde med en kommerciel bank i Den Dominikanske Republik gennemførte forskerne to separate analyser af 20.000 lavindkomstpersoner, halvdelen af ​​dem kvinder. I den første analyse brugte forskerne individernes tilbagebetalingshistorik og køn til at træne en enkelt maskinlæringsmodel til at forudsige kreditværdighed. I den anden analyse trænede forskerne en model med kun data om tilbagebetaling af lån fra kvinderne. De fandt ud af, at 93 % af kvinderne fik mere kredit i denne model end i den, hvor mænd og kvinder blev blandet sammen.

Dette sker, siger Higgins, fordi kvinder og mænd har forskellige kredithistorier og forskellige tilbagebetalingsadfærd – hvad enten det er af historiske, kulturelle eller andre årsager. Kvinder er for eksempel mere tilbøjelige til at betale deres lån tilbage, siger han. Men disse forskelle er der ikke taget højde for i den kombinerede model, som lærer at forudsige kreditværdighed på basis af gennemsnit på tværs af kvinder og mænd. Sådanne modeller forudsiger derfor sandsynligheden for, at kvinder tilbagebetaler deres lån og ender med at give dem mindre kredit, end de fortjener.

Mens Higgins og hans samarbejdspartnere testede denne hypotese specifikt for kvinder med lav indkomst i Den Dominikanske Republik, skulle de kvalitative resultater holde stik uanset kontekst. De bør også gælde for andre karakteristika end køn og på andre områder end finans.



Hvad skal man gøre med loven

Problemet er, at denne form for enkeltkønsmodel er ulovlig. Spørgsmålet er, om politiske beslutningstagere derfor bør opdatere ECOA.

Higgins er for. Den seneste forskning om algoritmisk retfærdighed har nået en ret klar konklusion om, at vi bør bruge ting som race og køn i algoritmerne, siger han. Hvis bankerne ikke har adgang til disse variabler og ikke engang kan indbygge sikkerhedskontrollen for at sikre, at deres algoritmer ikke er forudindtaget, er den eneste måde, vi finder ud af disse skævheder på, når folk tweeter om uligheder, som de møder i naturen.

Men Andrew Selbst, en adjunkt i jura ved UCLA, som har specialiseret sig i skæringspunktet mellem kunstig intelligens og jura, advarer mod at bevæge sig for hurtigt. At omskrive loven på den måde åbner muligheder for, at dårlige skuespillere kan begynde at inkludere racevariabler og kønsvariabler og diskriminere vildt på en måde, som er meget svær at politi, siger han. Han er også bekymret for, at denne løsning ikke vil tage højde for ikke-binære eller transpersoner og utilsigtet skade dem.

For at få flere historier som denne leveret direkte til din indbakke, tilmeld dig vores Webby-nominerede AI-nyhedsbrev The Algorithm. Det er gratis.

skjule