Deltagelsesvask kan være den næste farlige mode inden for maskinlæring

Fru Tech | Getty, Unsplash

AI-fællesskabet er endelig ved at vågne op til, at maskinlæring kan forårsage uforholdsmæssig stor skade på allerede undertrykte og dårligt stillede grupper. Vi har aktivister og arrangører at takke for det. Nu leder maskinlærende forskere og forskere efter måder at gøre kunstig intelligens mere retfærdig, ansvarlig og gennemsigtig – men også for nylig mere deltagende.

Et af de mest spændende og velbesøgte arrangementer på International konference om maskinlæring i juli blev kaldt Deltagende tilgange til maskinlæring . Denne workshop tog udgangspunkt i samfundets ambition om at bygge mere demokratiske, samarbejdsvillige og retfærdige algoritmiske systemer ved at inkorporere deltagende metoder i deres design. Sådanne metoder bringer dem, der interagerer med og er påvirket af et algoritmisk system, ind i designprocessen - for eksempel at bede sygeplejersker og læger om at hjælpe med at udvikle en sepsis detektionsværktøj .

Dette er en tiltrængt intervention inden for maskinlæring, som kan være alt for hierarkisk og homogen. Men det er ingen sølvkugle: Faktisk kan deltagelsesvask blive feltets næste farlige mode. Det er, hvad jeg, sammen med mine medforfattere Emanuel Moss, Olaitan Awomolo og Laura Forlano, argumenterer i vores nylige papir. Deltagelse er ikke et designfix til maskinlæring .

At ignorere mønstre af systemisk undertrykkelse og privilegier fører til uansvarlige maskinlæringssystemer, der er dybt uigennemskuelige og uretfærdige. Disse mønstre har gennemsyret feltet i de sidste 30 år. I mellemtiden har verden set den eksponentielle vækst i velstandsulighed og fossilbrændstof-drevne klimaændringer. Disse problemer er forankret i en nøgledynamik i kapitalismen: udvinding. Deltagelse er også ofte baseret på den samme ekstraktive logik, især når det kommer til maskinlæring.

Deltagelse er ikke gratis

Lad os starte med denne observation: deltagelse er allerede en stor del af maskinlæring, men på problematiske måder. En måde er deltagelse som arbejde.

Uanset om deres arbejde bliver anerkendt eller ej, spiller mange deltagere en vigtig rolle i at producere data, der bruges til at træne og evaluere maskinlæringsmodeller. Billeder, som nogen har taget og lagt op, er skrabet fra nettet, og lavtlønsarbejdere på platforme som Amazon Mechanical Turk kommenterer disse billeder for at gøre dem til træningsdata. Almindelige webstedsbrugere gør også denne annotering, når de gennemfører en reCAPTCHA. Og der er mange eksempler på, hvad der er kendt som spøgelsesarbejde -antropolog Mary Grays betegnelse for alt det arbejde bag kulisserne, der går til at få tilsyneladende automatiserede systemer til at fungere. Meget af denne deltagelse kompenseres ikke ordentligt, og i mange tilfælde er det næppe engang anerkendt.

Deltagelse som konsultation er i mellemtiden en tendens, der ses inden for områder som bydesign og i stigende grad også inden for maskinlæring. Men effektiviteten af ​​denne tilgang er begrænset. Det er generelt kortvarigt, uden plan om at etablere meningsfulde langsigtede partnerskaber. Bekymringer om intellektuel ejendom gør det svært virkelig at undersøge disse værktøjer. Som følge heraf er denne form for deltagelse for ofte blot performativ.

Relateret historie

Problemerne med AI i dag går århundreder tilbage Algoritmisk diskrimination og spøgelsesarbejde dukkede ikke op ved et uheld. At forstå deres lange, bekymrende historie er det første skridt mod at rette op på dem.

Mere lovende er ideen om deltagelse som retfærdighed . Her arbejder alle medlemmer af designprocessen sammen i tæt koblede relationer med hyppig kommunikation. Deltagelse som retfærdighed er en langsigtet forpligtelse, der fokuserer på at designe produkter styret af mennesker fra forskellige baggrunde og samfund, herunder handicapsamfundet, som længe har spillet en ledende rolle her. Dette koncept har social og politisk betydning, men kapitalistiske markedsstrukturer gør det næsten umuligt at implementere det godt.

Maskinlæring udvider teknologiindustriens bredere prioriteter, som fokuserer på skala og udvinding. Det betyder, at deltagende maskinlæring i øjeblikket er en oxymoron. Som standard har de fleste maskinlæringssystemer evnen til at overvåge, undertrykke og tvinge (inklusive arbejdsplads ). Disse systemer har også måder at fremstille samtykke på - for eksempel ved at kræve, at brugere skal tilmelde sig overvågningssystemer for at bruge visse teknologier, eller ved at implementere standardindstillinger som afskrækker dem fra at udøve deres ret til privatliv.

I betragtning af det er det ingen overraskelse, at maskinlæring ikke tager højde for eksisterende kraftdynamik og tager en ekstraktiv tilgang til samarbejde. Hvis vi ikke er forsigtige, kan deltagende maskinlæring følge AI-etikkens vej og blive blot endnu en mode, der bruges til at legitimere i retfærdighed.

En bedre måde

Hvordan kan vi undgå disse farer? Der er ikke noget enkelt svar. Men her er fire forslag:

Anerkend deltagelse som arbejde. Mange mennesker bruger allerede maskinlæringssystemer, mens de går i gang med deres hverdag. Meget af dette arbejde vedligeholder og forbedrer disse systemer og er derfor værdifuldt for systemejere. For at anerkende dette bør alle brugere anmodes om samtykke og forsynes med måder at fravælge ethvert system. Hvis de vælger at deltage, skal de tilbydes kompensation. At gøre dette kan betyde at afklare, hvornår og hvordan data genereret af en brugers adfærd vil blive brugt til træningsformål (for eksempel via et banner i Google Maps eller en tilmeldingsmeddelelse). Det ville også betyde at yde passende støtte til indholdsmoderatorer , retfærdig kompensation af spøgelsesarbejdere og udvikling af monetære eller ikke-monetære belønningssystemer for at kompensere brugere for deres data og arbejdskraft.

Gør deltagelse kontekstspecifik . I stedet for at forsøge at bruge en tilgang, der passer til alle, skal teknologer være opmærksomme på de specifikke sammenhænge, ​​de opererer i. For eksempel, når man designer en system til at forudsige ungdoms- og bandevold , bør teknologer løbende revurdere de måder, hvorpå de bygger på levet erfaring og domæneekspertise, og samarbejde med de mennesker, de designer for. Dette er særligt vigtigt, da konteksten for et projekt ændrer sig over tid. Dokumentation af selv små skift i proces og kontekst kan danne en videnbase for langsigtet, effektiv deltagelse. Skal f.eks. kun læger konsulteres i udformningen af ​​et maskinlæringssystem til klinisk pleje, eller skal sygeplejersker og patienter også inddrages? At gøre det klart, hvorfor og hvordan visse samfund var involveret, gør sådanne beslutninger og relationer gennemsigtige, ansvarlige og handlingsrettede.

Planlæg langsigtet deltagelse fra start. Folk er mere tilbøjelige til at forblive engageret i processer over tid, hvis de er i stand til at dele og få viden, i modsætning til at få den udvundet fra dem. Dette kan være svært at opnå i maskinlæring, især for proprietære designcases. Her er det værd at anerkende de spændinger, der komplicerer langsigtet deltagelse i maskinlæring, og erkende, at samarbejde og retfærdighed ikke skaleres på friktionsfri måder. Disse værdier kræver konstant vedligeholdelse og skal artikuleres igen og igen i nye sammenhænge.

Lær af tidligere fejl. Mere skade kan gøres ved at kopiere den måde at tænke på, der oprindeligt producerede skadelig teknologi. Vi som forskere er nødt til at styrke vores kapacitet til lateral tænkning på tværs af applikationer og professioner. For at lette dette kunne maskinlærings- og designfællesskabet udvikle en søgbar database for at fremhæve fejl i designdeltagelse (som f.eks. Sidewalk Labs' havnefrontprojekt i Toronto ). Disse fiaskoer kunne krydshenvises til socio-strukturelle begreber (såsom spørgsmål vedrørende racemæssig ulighed). Denne database bør dække designprojekter i alle sektorer og domæner, ikke kun dem inden for maskinlæring, og udtrykkeligt anerkende fravær og outliers. Disse kantsager er ofte dem, vi kan lære mest af.

Det er spændende at se maskinlæringssamfundet omfavne spørgsmål om retfærdighed og lighed. Men svarene bør ikke være baseret på deltagelse alene. Ønsket om en sølvkugle har plaget teknologimiljøet for længe. Det er tid til at omfavne den kompleksitet, der følger med at udfordre den ekstraktive kapitalistiske logik i maskinlæring.

Mona Sloane er sociolog baseret på New York University. Hun arbejder med designulighed i forbindelse med AI-design og -politik.

skjule