Kan du lave en AI, der ikke er i stand til?

Doug Maloney/Unsplash

Kunstig intelligens har et velkendt biasproblem, især når det kommer til race og køn. Du har måske set nogle af overskrifterne: ansigtsgenkendelsessystemer, der undlader at genkende sorte kvinder , eller automatiserede rekrutteringsværktøjer, der forbigå kvindelige kandidater .

Men mens forskere har prøvet hårdt på at løse nogle af de mest alvorlige problemer, er der én gruppe mennesker, de har overset: dem med handicap. Tag selvkørende biler. Deres algoritmer er afhængige af træningsdata for at lære, hvordan fodgængere ser ud, så køretøjerne ikke kører over dem. Hvis træningsdataene ikke inkluderer personer i kørestol, kan teknologien bringe disse mennesker i livsfare.

For Shari Trewin, en forsker i IBMs ledelsesteam for tilgængelighed, er dette uacceptabelt. Som en del af en nyt initiativ , det er hun nu udforske nye designprocesser og tekniske metoder til at afbøde maskinskævhed mod mennesker med handicap. Hun talte med os om nogle af udfordringerne – samt nogle mulige løsninger.

Det følgende er blevet redigeret for længde og klarhed.

Hvorfor er retfærdighed over for mennesker med handicap et andet problem end retfærdighed vedrørende andre beskyttede egenskaber som race og køn?

Handicapstatus er meget mere forskelligartet og kompleks i den måde, den påvirker mennesker. Mange systemer vil modellere race eller køn som en simpel variabel med et lille antal mulige værdier. Men når det kommer til handicap, er der så mange forskellige former og forskellige sværhedsgrader. Nogle af dem er permanente, nogle er midlertidige. Enhver af os kan tilmelde sig eller forlade denne kategori når som helst i vores liv. Det er en dynamisk ting.

Omkring hver femte person i USA har i øjeblikket et handicap af en eller anden art. Så det er virkelig udbredt, men svært at fastgøre til en simpel variabel med et lille antal mulige værdier. Der kan være et system, der diskriminerer blinde, men ikke døve. Så det bliver meget sværere at teste for retfærdighed.

Handicapoplysninger er også meget følsomme. Folk er meget mere tilbageholdende med at afsløre det end oplysninger om køn eller alder eller race, og i nogle situationer er det endda ulovligt at bede om disse oplysninger. Så mange gange i dataene er det meget mindre sandsynligt, at du ved noget om handicap, som en person måske eller måske ikke har. Det gør det også meget sværere at vide, om du har et retfærdigt system.

Det ville jeg spørge dig om. Som mennesker besluttede vi, at den bedste måde at undgå handicapdiskrimination på er ikke at afsløre handicapstatus. Hvorfor ville det ikke gælde for maskinlæringssystemer?

Shari Trewin, forsker på IBM's Accessibility Leadership-team takket være IBM

Ja, det er det første folk tænker på: Hvis systemet ikke ved noget om individers handicapstatus, vil det helt sikkert være retfærdigt. Men problemet er, at handicappet ofte påvirker andre informationsbidder, der bliver indført i modellen. Lad os for eksempel sige, at jeg er en person, der bruger en skærmlæser til at få adgang til internettet, og at jeg laver en onlinetest til en jobansøgning. Hvis det testprogram ikke er godt designet og tilgængeligt for min skærmlæser, vil det tage mig længere tid at navigere rundt på siden, før jeg kan besvare spørgsmålet. Hvis den tid ikke tages i betragtning ved vurderingen af ​​mig, så er enhver, der bruger det samme værktøj med et lignende handicap, i en systematisk ulempe – også selvom systemet ikke ved, at jeg er blind.

Så hvis der er så mange forskellige nuancer til handicap, er det så faktisk muligt at opnå retfærdighed?

Jeg tror, ​​at den mere generelle udfordring for AI-fællesskabet er, hvordan man håndterer outliers, fordi maskinlæringssystemer - de lærer normer, ikke? De optimerer til normer og behandler ikke afvigere på nogen speciel måde. Men ofte passer mennesker med handicap ikke til normen. Den måde, maskinlæring bedømmer folk efter, hvem den tror, ​​de ligner - selv når den måske aldrig har set nogen, der ligner dig - er en grundlæggende begrænsning med hensyn til retfærdig behandling af mennesker med handicap.

Hvad der ville fungere meget bedre, ville være en metode, der kombinerer maskinlæring med en ekstra løsning, såsom logiske regler, der er implementeret i et lag ovenfor. Der er også nogle situationer, hvor mere opmærksomhed på at indsamle et mere forskelligartet datasæt helt sikkert ville hjælpe. Nogle mennesker eksperimenterer med teknikker, hvor man tager kernen af ​​dataene ud og forsøger at træne for afvigelserne. Andre eksperimenterer med forskellige læringsteknikker, der måske optimerer bedre for afvigere frem for normen.

Jeg tror, ​​det er først, når man begynder at tænke på handicap, at man begynder at tænke på individernes forskellighed og vigtigheden af ​​outliers. Hvis du ikke har nok kønsdiversitet i dit datasæt, kan du ordne det. Det er ikke så let at rette op på handicapdiversitet.

Hvordan kommer du over problemet med, at folk er private om deres handicapstatus?

Ja, for at teste et system for retfærdighed, har du brug for nogle data. Og mennesker med handicap, der leverer disse data, er et socialt gode, men det er en personlig risiko. Mennesker med handicap er ofte let at identificere selv i anonyme data, bare fordi de er så unikke. Så hvordan afbøder vi det? Det er vi stadig ved at finde ud af.

Hvad er dine største bekymringer ved dette problem?

Ofte optimerer AI-systemer noget, der ikke er velbefindende for de mennesker, der er berørt af beslutningerne. Den påvirkning skal have meget mere fremtrædende plads i designprocessen, så vi ikke bare introducerer et system, der ser på, hvor mange penge vi sparer, eller hvor effektivt vi behandler mennesker. Vi har brug for nye måder at måle systemer på, der inkorporerer aspektet af indvirkning på slutbrugerne, især hvis det er en dårligt stillet gruppe.

Hvordan ville vi gøre det?

At teste for retfærdighed er en måde at måle denne effekt på. At inkludere den dårligt stillede gruppe i designprocessen og høre deres bekymringer er en anden. Endda eksplicit inkluderet nogle målinger for interessenternes tilfredshed, som du kunne måle gennem interviews eller undersøgelser - den slags.

Hvad er de ting, du er begejstret for inden for dette forskningsområde?

AI-teknologier ændrer allerede verden for mennesker med handicap ved at give dem nye muligheder, såsom applikationer, der fortæller dig, hvad der er i dit synsfelt, når du peger på din telefon.

Jeg tror, ​​at hvis vi gør det rigtigt, er der en reel mulighed for AI-systemer til at forbedre sig i forhold til tidligere systemer, der kun er for mennesker. Der er en masse forskelsbehandling og partiskhed og misforståelser af mennesker med handicap i samfundet i dag. Hvis vi kan finde en måde at producere AI-systemer, der eliminerer den slags bias, så kan vi begynde at ændre behandlingen af ​​mennesker med handicap og reducere diskrimination.

skjule