211service.com
Ny forskning sigter mod at løse problemet med AI Bias i Black Box-algoritmer
Siobhan Gallagher
Fra at plukke aktier til at undersøge røntgenstråler bliver kunstig intelligens i stigende grad brugt til at træffe beslutninger, der tidligere var op til mennesker. Men AI er kun så god som de data, den er trænet på, og i mange tilfælde ender vi med at bage vores alt for menneskelige skævheder ind i algoritmer, der har potentialet til at have en enorm indflydelse på folks liv.
I en nyt papir offentliggjort på arXiv , siger forskere, at de måske har fundet ud af en måde at afbøde problemet for algoritmer, som er svære for udenforstående at undersøge - såkaldte black box-systemer.
Et særligt problematisk område for bias at vise sig er i risikovurderingsmodellering, som for eksempel kan afgøre en persons chancer for at blive bevilget kaution eller godkendt til et lån. Det er typisk ulovligt at overveje faktorer som race i sådanne tilfælde, men algoritmer kan lære at genkende og udnytte det faktum, at en persons uddannelsesniveau eller hjemmeadresse kan korrelere med andre demografiske oplysninger, som effektivt kan gennemsyre dem med racemæssige og andre skævheder.
Det, der gør dette problem endnu vanskeligere, er, at mange af de AI'er, der bruges til at træffe disse valg, er sorte bokse - enten er de for komplicerede til let at forstå, eller også er de proprietære algoritmer, som virksomheder nægter at forklare. Forskere har arbejdet på værktøjer til at få et kig på, hvad der foregår under kølerhjelmen , men problemet er udbredt og voksende (se Biased Algorithms Are Everywhere, and No One Seems to Care).
I papiret prøvede Sarah Tan (der arbejdede hos Microsoft på det tidspunkt) og kolleger deres metode på to sorte boks-risikovurderingsmodeller: en om lånerisici og misligholdelsesrater fra peer-to-peer-virksomheden LendingClub og en fra Northpointe , en virksomhed, der leverer algoritmebaserede tjenester til domstole rundt om i landet, der forudsiger recidivrisiko for tiltalte.
Forskerne brugte en tostrenget tilgang til at kaste lys over, hvordan disse potentielt skæve algoritmer fungerer. Først skabte de en model, der efterligner den sorte boks-algoritme, der undersøges, og kommer med en risikoscore baseret på et indledende sæt data, ligesom LendingClub og Northpointe ville. Derefter byggede de en anden model, som de trænede på resultater fra den virkelige verden, og brugte den til at bestemme, hvilke variabler fra det indledende datasæt, der var vigtige i de endelige resultater.
For LendingClubs tilfælde analyserede forskerne data om en række udløbne lån fra 2007 til 2011. LendingClubs database indeholdt adskillige forskellige felter, men forskerne fandt, at virksomhedens lånemodel formentlig ignorerede både ansøgerens årlige indkomst og formålet med lånet. . Indkomst kan give mening at ignorere, da den er selvrapporteret og kan forfalskes. Men formålet med lånet er stærkt korreleret med risiko - lån til små virksomheder er meget mere risikable end dem, der bruges til at betale for for eksempel bryllupper. Så LendingClub så ud til at ignorere en vigtig variabel.
Northpointe siger i mellemtiden, at dens COMPAS-algoritme ikke inkluderer race som en variabel, når de kommer med anbefalinger om strafudmåling. Dog i en undersøgelse af ProPublica , indsamlede journalister raceoplysninger om tiltalte, der blev dømt med hjælp fra COMPAS, og fandt beviser for racemæssig skævhed. I deres mimikmodel brugte forskerne data indsamlet af ProPublica samt oplysninger om de tiltaltes alder, køn, sigtelsesgrad, antal tidligere domme og længden af ethvert tidligere fængselsophold. Metoden stemte overens med ProPublicas resultater, hvilket tyder på, at COMPAS sandsynligvis var forudindtaget for nogle alders- og racegrupper.
Kritikere kan påpege, at disse ikke er nøjagtige replikaer - af nødvendighed lavede forskerne en masse uddannede gæt. Men hvis virksomheden bag en algoritme ikke er villig til at frigive information om, hvordan dens system fungerer, er tilnærmelsesmodeller som dem fra denne forskning en rimelig måde at få indsigt på, siger Brendan O'Connor, adjunkt ved University of Massachusetts , Amherst, som har udgivet et papir om bias i naturlig sprogbehandling.
Vi skal være opmærksomme på, at dette sker, og ikke lukke øjnene for det og opføre os, som om det ikke sker, siger O'Connor.