AI kan ikke forudsige, hvordan et barns liv vil blive, selv med et væld af data

SHARON MCCUTCHEON / UNSPLASH

Politikere trækker ofte på samfundsforskeres arbejde for at forudsige, hvordan specifikke politikker kan påvirke sociale resultater såsom beskæftigelsen eller kriminalitet. Ideen er, at hvis de kan forstå, hvordan forskellige faktorer kan ændre bane for en persons liv, kan de foreslå interventioner for at fremme de bedste resultater.

I de senere år har de dog i stigende grad satset på maskinlæring, som lover at producere langt mere præcise forudsigelser ved at knuse langt større mængder data. Sådanne modeller bruges nu til at forudsige sandsynligheden for, at en tiltalt kan blive anholdt for en anden forbrydelse, eller at et barn er i fare for misbrug og omsorgssvigt i hjemmet. Antagelsen er, at en algoritme fodret med nok data om en given situation vil lave mere præcise forudsigelser end et menneske eller en mere grundlæggende statistisk analyse.

Nu en ny undersøgelse offentliggjort i Proceedings of the National Academy of Sciences sår tvivl om, hvor effektiv denne tilgang egentlig er. Tre sociologer ved Princeton University bad hundredvis af forskere om at forudsige seks livsudfald for børn, forældre og husholdninger ved at bruge næsten 13.000 datapunkter på over 4.000 familier. Ingen af ​​forskerne kom engang i nærheden af ​​et rimeligt niveau af nøjagtighed, uanset om de brugte simpel statistik eller banebrydende maskinlæring.

Undersøgelsen fremhæver virkelig denne idé om, at maskinlæringsværktøjer i sidste ende ikke er magi, siger Alice Xiang, lederen af ​​retfærdigheds- og ansvarlighedsforskning hos nonprofit-partnerskabet om kunstig intelligens.

Forskerne brugte data fra en 15 år lang sociologisk undersøgelse kaldet Undersøgelse af skrøbelige familier og børns trivsel , ledet af Sara McLanahan, professor i sociologi og offentlige anliggender ved Princeton og en af ​​hovedforfatterne af det nye papir. Den oprindelige undersøgelse søgte at forstå, hvordan livet for børn født af ugifte forældre kunne udvikle sig over tid. Familier blev tilfældigt udvalgt blandt børn født på hospitaler i store amerikanske byer i løbet af år 2000. De blev fulgt op til dataindsamling, da børnene var 1, 3, 5, 9 og 15 år.

McLanahan og hendes kolleger Matthew Salganik og Ian Lundberg designede derefter en udfordring med at crowdsource forudsigelser om seks udfald i slutfasen, som de anså for sociologisk vigtige. Disse omfattede børnenes karaktergennemsnit i skolen; deres grad af modarbejde eller selvrapporterede udholdenhed i skolen; og det overordnede niveau af fattigdom i deres husstand. Udfordringsdeltagere fra forskellige universiteter fik kun en del af dataene til at træne deres algoritmer, mens arrangørerne holdt lidt tilbage for endelige evalueringer. I løbet af fem måneder indsendte hundredvis af forskere, inklusive dataloger, statistikere og beregningssociologer, deres bedste teknikker til forudsigelse.

Det faktum, at ingen indsendelse var i stand til at opnå høj nøjagtighed på nogen af ​​resultaterne, bekræftede, at resultaterne ikke var et lykketræf. Du kan ikke bortforklare det på baggrund af fejl hos en bestemt forsker eller af nogen bestemt maskinlæring eller AI-teknikker, siger Salganik, professor i sociologi. De mest komplicerede maskinlæringsteknikker var heller ikke meget mere præcise end langt simplere metoder.

For eksperter, der studerer brugen af ​​kunstig intelligens i samfundet, er resultaterne ikke så overraskende. Selv de mest nøjagtige risikovurderingsalgoritmer i det strafferetlige system, for eksempel, når max ud på 60 % eller 70 %, siger Xiang. Måske lyder det i det abstrakte noget godt, tilføjer hun, men antallet af tilbagefald kan alligevel være lavere end 40 %. Det betyder at forudsige ingen gentagelser allerede vil give dig en nøjagtighed på mere end 60 %.

Ligeledes har forskning gentagne gange vist, at i sammenhænge, ​​hvor en algoritme vurderer risiko eller vælger, hvor ressourcerne skal henvises, har simple, forklarlige algoritmer ofte tæt på den samme forudsigelseskraft som black-box-teknikker som deep learning. Den ekstra fordel ved black-box-teknikkerne er altså ikke de store omkostninger værd i fortolkning.

Resultaterne betyder ikke nødvendigvis, at prædiktive algoritmer, uanset om de er baseret på maskinlæring eller ej, aldrig vil være brugbare værktøjer i den politiske verden. Nogle forskere påpeger f.eks., at data indsamlet med henblik på sociologisk forskning er forskellige fra de data, der typisk analyseres i politikudformningen.

Rashida Richardson, policy director ved AI Now-instituttet, som studerer AIs sociale virkning, bemærker også bekymringer i den måde, hvorpå forudsigelsesproblemet blev formuleret. Om et barn har grus, er for eksempel en iboende subjektiv vurdering, som forskning har vist at er en racistisk konstruktion til at måle succes og præstationer, siger hun. Detaljen fik hende straks til at tænke: Åh, det kommer ikke til at virke.

Salganik anerkender også undersøgelsens begrænsninger.

Men han understreger, at det viser, hvorfor politikere bør være mere forsigtige med at evaluere nøjagtigheden af ​​algoritmiske værktøjer på en gennemsigtig måde. At have en stor mængde data og have kompliceret maskinlæring garanterer ikke nøjagtig forudsigelse, tilføjer han. Politikere, der ikke har så meget erfaring med at arbejde med maskinlæring, kan have urealistiske forventninger til det.

For at få flere historier som denne leveret direkte til din indbakke, tilmeld dig vores Webby-nominerede AI-nyhedsbrev The Algorithm. Det er gratis.

skjule