AI har forværret racemæssig skævhed i boliger. Kunne det hjælpe med at fjerne det i stedet?

En diskussion om hvorvidt maskiner nogensinde kan være mere retfærdige end mennesker. Ved

• Charlton McIlwain arkiv side

20. oktober 2020

Andrea Daquino

Vores kommende magasinudgave er helliget langsigtede problemer. Få problemer er længerevarende eller mere uløselige end USAs systemiske raceulighed. Og en særlig rodfæstet form for det er boligdiskrimination.

En lang historie med politikker fra banker, forsikringsselskaber og ejendomsmæglere har nægtet folk af farvede et retfærdigt skud på boligejerskab, koncentreret rigdom og ejendom i hænderne på hvide mennesker og samfund og fastholdt de facto adskillelse. Selvom disse politikker – med navne som redlining, blockbusting, racezoneinddeling, restriktive pagter og racemæssig styring – ikke længere er lovlige, består deres konsekvenser, og de praktiseres nogle gange stadig skjult eller utilsigtet.

Denne historie var en del af vores november 2020-udgave

• Se resten af ​​problemet
• Abonner

Teknologi har i nogle tilfælde forværret USAs systemiske racemæssige skævhed. Algoritmisk baseret ansigtsgenkendelse, prædiktiv politiarbejde og domsafsigelse og kautionsafgørelser har for eksempel vist sig at give dårligere resultater for sorte mennesker. Også på boligområdet viste nyere forskning fra University of California, Berkeley, at et AI-baseret realkreditlånssystem opkrævede sorte og latinamerikanske låntagere højere renter end hvide mennesker for de samme lån.

Kan teknologi bruges til at afbøde skævheden i boliger i stedet? Vi samlede nogle eksperter for at diskutere mulighederne. De er:

Lisa Rice

Præsident og administrerende direktør for National Fair Housing Alliance, det største konsortium af organisationer dedikeret til at stoppe diskrimination på boligområdet.

Bobby Bartlett

Juraprofessor ved UC Berkeley, der ledede forskningen, der gav nogle af de første store beviser for, hvordan kunstig intelligens skaber diskrimination i realkreditlån.

Charlton McIlwain

Professor i medier, kultur og kommunikation ved NYU og forfatter til Sort software: Internettet og raceretfærdighed, fra Afronet til Black Lives Matter .

---

Denne diskussion er blevet redigeret og komprimeret for klarhedens skyld.

McIlwain: Da jeg vidnede for kongressen i december sidste år om indvirkningen af ​​automatisering og kunstig intelligens i finanssektoren, citerede jeg en nylig undersøgelse, der fandt ud af, at i modsætning til menneskelige lånerådgivere, godkendte automatiserede realkreditlånesystemer retfærdigt boliglån uden at diskriminere baseret på race. Men de automatiserede systemer opkræver stadig sorte og latinamerikanske låntagere betydeligt højere priser for disse lån.

Dette gør mig skeptisk over, at AI kan eller vil gøre det bedre end mennesker. Bobby – det her var dit studie. Har du draget de samme konklusioner?

Bartlett: Vi havde adgang til et datasæt, der gjorde det muligt for os at identificere den registrerede långiver, og om denne långiver brugte et fuldstændigt automatiseret system uden nogen menneskelig indgriben - i det mindste med hensyn til godkendelse og garanti. Vi havde oplysninger om racen og etniciteten af ​​den registrerede låntager og var i stand til at identificere, hvorvidt prisfastsættelsen af ​​godkendte lån var forskellig fra race til race. Det gjorde den faktisk med omkring 800 millioner dollars om året.

Hvorfor er det sådan, at disse algoritmer, som er blindet for låntagerens race eller etnicitet, ville diskriminere på denne måde? Vores arbejdshypotese er, at algoritmerne ofte blot forsøger at maksimere prisen. Formentlig er den, der designer algoritmen, uvidende om den racemæssige konsekvens af dette målbevidste fokus på rentabilitet. Men de er nødt til at forstå, at der er denne racedynamik, at de proxyvariabler, de bruger – efter al sandsynlighed er det dér, diskriminationen er. I en eller anden forstand er der faktisk rødbelægning af den rødeste slags, der går ind gennem koden. Det ligner, hvad der generelt sker på realkreditmarkedet. Vi ved, at mæglere vil citere højere priser til minoritetslåntagere, vel vidende at nogle vil afvise det, men andre vil være mere tilbøjelige til at acceptere det af en lang række årsager.

McIlwain: Jeg har en teori om, at en af ​​grundene til, at vi ender med partiske systemer – selv når de blev bygget til at være mindre diskriminerende – er fordi de mennesker, der designer dem, ikke rigtig forstår problemets underliggende kompleksitet. Der forekommer mig at være en vis naivitet ved at tro, at et system ville være fri for partiskhed, bare fordi det er raceblindt.

Ris: Du ved, Charlton, vi havde det samme perspektiv, som du havde tilbage i 90'erne og begyndelsen af ​​2000'erne. Vi forbød finansielle institutioner at bruge forsikringsscoring, risikobaseret prissætning eller kreditscoringsystemer til netop dette formål. Vi indså, at systemerne selv udviste bias. Men så begyndte vi at sige, at du kun kan bruge dem, hvis de hjælper folk, udvider adgangen eller genererer mere rimelige priser.

McIlwain: Går folk, der designer disse systemer, galt, fordi de virkelig ikke grundlæggende forstår det underliggende problem med boligdiskrimination? Og kommer din kilde til optimisme fra det faktum, at du og organisationer som din forstår den kompleksitet?

Ris: Vi er en borgerrettighedsorganisation. Det er, hvad vi er. Vi udfører alt vores arbejde ud fra en racemæssig lighedslinse. Vi er en antiracismeorganisation.

I løbet af løsningen af ​​redlining og reverse redlining-sager opfordrede vi de finansielle institutioner og forsikringsbureauer til at gentænke deres forretningsmodeller, til at gentænke, hvordan de markedsfører, at gentænke deres retningslinjer for tegning af forsikringer, at gentænke de produkter, de udviklede. Og jeg tror, ​​at grunden til, at vi var i stand til det, er, fordi vi er et borgerrettighedsagentur.

Relateret historie

Selvfølgelig viderefører teknologi racisme. Det var designet på den måde. Sorte amerikanere har set teknologi bruges til at målrette dem igen og igen. At stoppe det betyder at se på problemet anderledes.

Vi starter med at hjælpe virksomheder med at forstå historien om boliger og finanser i USA, og hvordan alle vores bolig- og finanspolitikker er blevet krævet gennem en racemæssig linse. Du kan ikke starte på nulpunktet i forhold til at udvikle et system og tro, at det system vil være retfærdigt. Du skal udvikle det på en måde, der bruger antiracistiske teknologier og metoder.

McIlwain: Kan vi stadig realistisk gøre et indhug i dette problem ved hjælp af de teknologiske værktøjer, vi har til rådighed? Hvis ja, hvor skal vi starte?

Ris: Ja – da finanskrisen i 2008 var forbi en lille smule, og vi så op, var det, som om teknologien havde overhalet os. Og så besluttede vi, at hvis vi ikke kan slå det, måske vil vi være med. Så vi brugte meget tid på at prøve at lære, hvordan algoritmisk-baserede systemer fungerer, hvordan AI fungerer, og vi er faktisk kommet til det punkt, hvor vi tror, ​​vi nu kan bruge teknologi til at hjælpe med at mindske diskriminerende resultater.

Hvis vi forstår, hvordan disse systemer viser skævhed, kan vi forhåbentlig komme ind i indvoldene, og derefter de-bias disse systemer, og bygge nye systemer, der infunderer de-biasing teknikker i dem.

Vi har virkelig ikke regulatoriske agenturer, der forstår, hvordan man udfører en eksamen af ​​en låneinstitution for at finde ud af, om dens system er forudindtaget eller ej.

Men når man tænker på, hvor langt bagud vi er, er det virkelig skræmmende at tænke på alt det arbejde, der skal udføres, al den forskning, der skal udføres. Vi har brug for flere Bobbys af verden. Men også al den uddannelse, der skal laves, så dataforskere forstår disse problemer.

Ris: Vi forsøger at få regulatorer til at forstå, hvordan systemerne viser skævhed. Du ved, vi har virkelig ikke et organ af eksaminatorer hos regulatoriske agenturer, der forstår, hvordan man udfører en eksamen af ​​en låneinstitution for at finde ud af, om dets system – dets automatiserede tegningssystem, dets marketingsystem, dets servicesystem – er eller ej. forudindtaget. Men institutionerne udvikler selv deres egne organisationspolitikker, der kan hjælpe.

Den anden ting, vi skal gøre, er virkelig at øge diversiteten i det teknologiske rum. Vi er nødt til at få flere studerende fra forskellige baggrunde til STEM-områder og ind i det teknologiske rum for at hjælpe med at gennemføre forandringer. Jeg kan komme i tanke om en række eksempler, hvor blot det at have en farvet person på holdet gjorde en stor forskel i forhold til at øge retfærdigheden af ​​den teknologi, der blev udviklet.

McIlwain: Hvilken rolle spiller politik? Jeg forstår, at på samme måde som borgerrettighedsorganisationer var bagud i branchen med hensyn til at forstå, hvordan algoritmiske systemer fungerer, er mange af vores politiske beslutningstagere bagud. Jeg ved ikke, hvor stor tro jeg ville have på deres evne til realistisk at tjene som en effektiv kontrol af systemet eller på, at de nye AI-systemer hurtigt kommer ind på realkreditområdet.

McIlwain: Jeg forbliver skeptisk. For nu, for mig, overstiger omfanget af problemet stadig langt både vores kollektive menneskelige vilje og vores teknologis muligheder. Bobby, tror du, teknologi nogensinde kan hjælpe
dette problem?

Bartlett: Jeg er nødt til at svare på det med advokaten Det afhænger af. Hvad vi ser, i det mindste i udlånssammenhæng, er, at du kan eliminere kilden til skævhed og diskrimination, som du observerede med ansigt-til-ansigt interaktioner gennem en form for algoritmisk beslutningstagning. Bagsiden er, at hvis den implementeres forkert, kan du ende med et beslutningsapparat, der er lige så slemt som et redlining-regime. Så det afhænger virkelig af udførelsen, typen af ​​teknologi og den omhu, hvormed den er implementeret. Men et retfærdigt udlånsregime, der er operationaliseret gennem automatiseret beslutningstagning? Jeg synes, det er et rigtigt udfordrende forslag. Og jeg tror, ​​at juryen stadig er ude.

skjule