Fordomsfulde algoritmer er overalt, og ingen ser ud til at bekymre sig

Kate Crawford taler ved AI Now-konferencen på MIT i denne uge. John Maeda (@johnmaeda)

Uigennemsigtige og potentielt partiske matematiske modeller omskaber vores liv – og hverken de virksomheder, der er ansvarlige for at udvikle dem, eller regeringen er interesserede i at løse problemet.

I denne uge lancerede en gruppe forskere sammen med American Civil Liberties Union et forsøg på at identificere og fremhæve algoritmisk bias. Det AI Now-initiativ blev annonceret ved et arrangement afholdt på MIT for at diskutere, hvad mange eksperter ser som en voksende udfordring.

Algoritmisk bias tegner sig til at blive et stort samfundsproblem på et kritisk tidspunkt i udviklingen af ​​maskinlæring og kunstig intelligens. Hvis den skævhed, der lurer inde i de algoritmer, der træffer stadig vigtigere beslutninger, bliver uerkendt og ukontrolleret, kan det få alvorlige negative konsekvenser, især for fattigere samfund og minoriteter. Det endelige ramaskrig kan også bremse udviklingen af ​​en utrolig nyttig teknologi (se Inspicering af algoritmer for bias).

Algoritmer, der kan skjule skjulte skævheder, bruges allerede rutinemæssigt til at træffe vigtige økonomiske og juridiske beslutninger. Proprietære algoritmer bruges til at afgøre, for eksempel, hvem der får en jobsamtale, hvem der får prøveløsladelse, og hvem der får et lån.

Grundlæggerne af det nye AI Now Initiative, Kate Crawford , en forsker hos Microsoft, og Meredith Whittaker, en forsker hos Google, siger, at der kan være skævhed i alle mulige tjenester og produkter.

Det er stadig tidlige dage for at forstå algoritmisk bias, sagde Crawford og Whittaker i en e-mail. Bare i år har vi set flere systemer, der har problemer, og det er kun dem, der er blevet undersøgt.

Eksempler på algoritmiske skævheder, der er kommet frem på det seneste, siger de, omfatter fejlagtige og forkerte repræsentationer systemer, der bruges til at rangere lærere , og kønsbaserede modeller for naturlig sprogbehandling.

Cathy O'Neil, en matematiker og forfatter til Matematikødelæggelsesvåben , en bog, der fremhæver risikoen for algoritmisk bias i mange sammenhænge, ​​siger, at folk ofte er for villige til at stole på matematiske modeller, fordi de tror, ​​det vil fjerne menneskelig bias. [Algorithmer] erstatter menneskelige processer, men de holdes ikke til de samme standarder, siger hun. Folk stoler for meget på dem.

En central udfordring, siger disse og andre forskere, er, at afgørende interessenter, herunder de virksomheder, der udvikler og anvender maskinlæringssystemer og offentlige regulatorer, viser ringe interesse i at overvåge og begrænse algoritmisk bias. Finansielle og teknologiske virksomheder bruger alle mulige matematiske modeller og er ikke gennemsigtige om, hvordan de fungerer. O'Neil siger, at hun for eksempel er bekymret for, hvordan algoritmerne bag Googles nye jobsøgningstjeneste fungerer.

Relateret historie

Relateret historie Uden videnskabs- og teknologirådgivere i Det Hvide Hus kan præsident Trump kæmpe for at reagere på kriser.

O'Neil har tidligere arbejdet som professor ved Barnard College i New York og kvantitativ analytiker i virksomheden D. E. Shaw. Hun er nu leder af Online risikorådgivning og algoritmisk revision , en virksomhed, der er oprettet for at hjælpe virksomheder med at identificere og rette skævhederne i de algoritmer, de bruger. Men O'Neil siger, at selv dem, der ved, at deres algoritmer er i fare for bias, er mere interesserede i bundlinjen end i at udrydde bias. Jeg skal være ærlig over for dig, siger hun. Jeg har ingen kunder lige nu.

O'Neil, Crawford og Whittaker advarer alle også om, at Trump-administrationens manglende interesse for kunstig intelligens – og i videnskab generelt – betyder, at der ikke er nogen reguleringsbevægelse til at løse problemet (se The Gaping, Dangerous Hold in the Trump Administration).

Office of Science and Technology Policy er ikke længere aktivt engageret i AI-politik - eller meget af noget som helst ifølge deres hjemmeside, skriver Crawford og Whittaker. Politisk arbejde skal nu udføres andetsteds.

skjule