En forudindtaget medicinsk algoritme favoriserede hvide mennesker til sundhedsprogrammer

Kategori: Kunstig intelligens Udsendt 25. okt

En undersøgelse har fremhævet de risici, der er forbundet med at bruge historiske data til at træne maskinlæringsalgoritmer til at lave forudsigelser.

Nyhederne: En algoritme, som mange amerikanske sundhedsudbydere bruger til at forudsige, hvilke patienter der har mest brug for ekstra medicinsk behandling, privilegerede hvide patienter frem for sorte patienter, ifølge forskere ved UC Berkeley, hvis undersøgelse var udgivet i Science . Effektivt stødte det hvide op i køen til særlige behandlinger for komplekse tilstande som nyreproblemer eller diabetes.

Studiet: Forskerne gravede gennem næsten 50.000 optegnelser fra et stort, uoplyst akademisk hospital. De fandt ud af, at hvide patienter fik højere risikoscore og derfor var mere tilbøjelige til at blive udvalgt til ekstra pleje (som mere sygepleje eller dedikerede aftaler) end sorte patienter, der faktisk var lige så syge. Forskerne beregnede, at skævheden reducerede andelen af ​​sorte patienter, der fik ekstra hjælp, med mere end det halve.

Hvilken software var dette? Forskerne sagde ikke, men Washington Post identificerer det som Optum, ejet af forsikringsselskabet UnitedHealth. Det siger, at dets produkt bruges til at håndtere mere end 70 millioner liv. Selvom forskerne kun fokuserede på ét bestemt værktøj, de identificerede den samme fejl i de 10 mest udbredte algoritmer i branchen. Hvert år anvendes disse værktøjer kollektivt til anslået 150 til 200 millioner mennesker i USA.

Hvordan skævheden sneg sig ind: Race var ikke en faktor i algoritmens beslutningstagning (det ville være ulovligt); den brugte patienternes sygehistorie til at forudsige, hvor meget de sandsynligvis ville koste sundhedssystemet. Men omkostninger er ikke en raceblind målestok: af socioøkonomiske og andre årsager har sorte patienter historisk set haft lavere sundhedsomkostninger end hvide patienter med samme betingelser. Som et resultat gav algoritmen hvide patienter samme score som sorte patienter, der var betydeligt syge.

En lille frelsende nåde: Forskerne arbejdede sammen med Optum for at rette op på problemet. De reducerede forskellen med mere end 80 % ved at skabe en version, der forudsiger både en patients fremtidige omkostninger og antallet af gange, en kronisk tilstand kan blusse op i løbet af det kommende år. Så algoritmisk skævhed kan korrigeres, hvis – og desværre er det et stort hvis – du kan fange det.

Hvorfor det er vigtigt: Undersøgelsen er den seneste, der viser faldgruberne ved at allokere vigtige ressourcer i henhold til anbefaling af algoritmer. Den slags udfordringer udspiller sig ikke kun i sundhedsvæsenet, men også i ansættelser, kreditvurdering, forsikring og strafferet.

Læs næste: vores interaktive forklaring om, hvordan AI-bias påvirker det strafferetlige system, og hvorfor det er så svært at eliminere.