Fortalere for handicaprettigheder er bekymrede over diskrimination i AI-ansættelsesværktøjer

Fru Tech | Getty

Din evne til at lande dit næste job kan afhænge af, hvor godt du spiller et af de AI-drevne spil, som virksomheder kan lide AstraZeneca og Postkammerater bruger i stigende grad i ansættelsesprocessen.

Nogle virksomheder, der skaber disse spil, som Pymetrics og Arctic Shores, hævder, at de begrænser skævhed i ansættelser. Men AI-ansættelsesspil kan være særligt vanskelige at navigere for jobsøgende med handicap.

I den seneste episode af MIT Technology Reviews podcast In Machines We Trust undersøger vi, hvordan AI-drevne lejespil og andre værktøjer kan udelukke mennesker med handicap. Og mens mange mennesker i USA ser til den føderale kommission, der er ansvarlig for beskæftigelsesdiskrimination, for at regulere disse teknologier, har agenturet endnu ikke handlet.

For at se nærmere, spurgte vi Henry Claypool , en handicappolitisk analytiker, at spille en af Pymetri sine spil. Pymetrics måler ni færdigheder, herunder opmærksomhed, generøsitet og risikotolerance, som administrerende direktør og medstifter Frida Polly siger relaterer til jobsucces.

Når det arbejder med en virksomhed, der ønsker at ansætte nye mennesker, beder Pymetrics først virksomheden om at identificere folk, der allerede lykkes med det job, det forsøger at besætte, og får dem til at spille deres spil. Derefter, for at identificere de færdigheder, der er mest specifikke for de succesrige medarbejdere, sammenligner den deres spildata med data fra et tilfældigt udvalg af spillere.

Da han loggede på, fik spillet Claypool til at vælge mellem en modificeret version – designet til dem med farveblindhed, ADHD eller ordblindhed – og en umodificeret version. Dette spørgsmål stiller ansøgere med handicap et dilemma, siger han.

Frygten er, at hvis jeg klikker på en af ​​disse, vil jeg afsløre noget, der vil diskvalificere mig til jobbet, og hvis jeg ikke klikker på - for eksempel - ordblindhed eller hvad det nu er, der gør det svært for mig at læse breve og behandle den information hurtigt, så er jeg dårligere stillet, siger Claypool. Jeg kommer til at fejle begge veje.

Relateret historie

Vi testede AI-interviewværktøjer. Her er hvad vi fandt.

En gav vores kandidat en høj score for engelskkundskaber, da hun kun talte tysk.

Polli siger, at Pymetrics ikke fortæller arbejdsgivere, hvilke ansøgere der anmodede om indkvartering i spillet under ansættelsesprocessen, hvilket skulle hjælpe med at forhindre arbejdsgivere i at diskriminere mennesker med visse handicap. Hun tilføjede, at som svar på vores rapportering, vil virksomheden gøre disse oplysninger mere klare, så ansøgere ved, at deres behov for indkvartering i spillet er privat og fortroligt.

Americans with Disabilities Act kræver, at arbejdsgivere sørger for rimelige tilpasninger til mennesker med handicap. Og hvis en virksomheds ansættelsesvurderinger udelukker mennesker med handicap, så skal det bevise, at de vurderinger er nødvendige for jobbet.

For arbejdsgivere, ved at bruge spil som dem produceret af Arktiske kyster kan virke mere objektiv. I modsætning til traditionelle psykometriske tests, evaluerer Arctic Shores’ algoritme kandidater på grundlag af deres valg gennem hele spillet. Imidlertid ved kandidater ofte ikke, hvad spillet måler, eller hvad de kan forvente, mens de spiller. For ansøgere med handicap gør det det svært at vide, om de skal bede om en bolig.

Safe Hammad, CTO og medstifter af Arctic Shores, siger, at hans team er fokuseret på at gøre dets vurderinger tilgængelige for så mange mennesker som muligt. Folk med farveblindhed og hørehandicap kan bruge virksomhedens software uden særlige tilpasninger, siger han, men arbejdsgivere bør ikke bruge sådanne anmodninger til at frasortere kandidater.

Brugen af ​​disse værktøjer kan nogle gange udelukke folk på måder, som måske ikke er indlysende for en potentiel arbejdsgiver. patty sanchez er beskæftigelsesspecialist ved MacDonald Træningscenter i Florida, som arbejder med jobsøgende, der er døve eller hørehæmmede. For cirka to år siden søgte en af ​​hendes kunder job hos Amazon der krævede et videointerview igennem HireVue .

Sanchez, som også er døv, forsøgte at ringe og anmode om assistance fra virksomheden, men kunne ikke komme igennem. I stedet tog hun sin klient og en tegnsprogstolk med til ansættelsesstedet og overtalte repræsentanter der til at interviewe ham personligt. Amazon hyrede sin klient, men Sanchez siger, at problemer som disse er almindelige, når man navigerer i automatiserede systemer. (Amazon svarede ikke på en anmodning om kommentar.)

At gøre ansættelsesteknologi tilgængelig betyder at sikre både, at en kandidat kan bruge teknologien, og at de færdigheder, den måler, ikke uretfærdigt udelukker kandidater med handicap, siger Alexandra Givens , administrerende direktør for Center for Demokrati og Teknologi , en organisation med fokus på borgerrettigheder i den digitale tidsalder.

AI-drevne ansættelsesværktøjer undlader ofte at inkludere mennesker med handicap, når de genererer deres træningsdata, siger hun. Sådanne mennesker har længe været udelukket fra arbejdsstyrken, så algoritmer, der er modelleret efter en virksomheds tidligere ansættelser, vil ikke afspejle deres potentiale.

Selvom modellerne kunne tage højde for afvigelser, varierer den måde, et handicap præsenterer sig på, meget fra person til person. To personer med autisme kan for eksempel have vidt forskellige styrker og udfordringer.

Efterhånden som vi automatiserer disse systemer, og arbejdsgiverne skubber til det, der er hurtigst og mest effektivt, mister de chancen for, at folk rent faktisk kan vise deres kvalifikationer og deres evne til at udføre jobbet, siger Givens. Og det er et kæmpe tab.

En hands-off tilgang

Offentlige tilsynsmyndigheder har svært ved at overvåge AI-ansættelsesværktøjer. I december 2020 skrev 11 senatorer et brev til US Equal Employment Opportunity Commission udtrykker bekymring over brugen af ​​ansættelsesteknologier efter covid-19-pandemien. Brevet spurgte om agenturets bemyndigelse til at undersøge, om disse værktøjer diskriminerer, især mod personer med handicap.

EEOC svarede med et brev i januar, der blev lækket til MIT Technology Review . I brevet indikerede kommissionen, at den ikke kan undersøge AI-udlejningsværktøjer uden en specifik påstand om diskrimination. Brevet skitserede også bekymringer over industriens tøven med at dele data og sagde, at variation mellem forskellige virksomheders software ville forhindre EEOC i at indføre brede politikker.

Jeg blev overrasket og skuffet, da jeg så responsen, siger Roland Behm , en advokat og fortaler for mennesker med adfærdsmæssige sundhedsproblemer. Hele indholdet i det brev syntes at få EEOC til at virke mere som en passiv tilskuer snarere end et håndhævelsesorgan.

Agenturet starter typisk en undersøgelse, når en person indgiver en påstand om diskrimination. Med AI-ansættelsesteknologi ved de fleste kandidater dog ikke, hvorfor de blev afvist til jobbet. Jeg tror, ​​at en grund til, at vi ikke har set flere håndhævelsesforanstaltninger eller private retssager på dette område, skyldes det faktum, at kandidater ikke ved, at de bliver bedømt eller vurderet af en computer, siger Keith Nerd , en EEOC-kommissær.

Sonderling siger, at han tror på, at kunstig intelligens vil forbedre ansættelsesprocessen, og han håber, at agenturet vil udsende vejledning til arbejdsgivere om, hvordan den bedst implementeres. Han siger, at han hilser tilsyn fra Kongressen velkommen.

Relateret historie

Revisorer tester ansættelsesalgoritmer for bias, men der er ingen nem løsning

AI-revisioner kan overse visse typer bias, og de bekræfter ikke nødvendigvis, at et ansættelsesværktøj udvælger de bedste kandidater til et job.

Imidlertid, Aaron Rieke , administrerende direktør for Optur , en nonprofit dedikeret til borgerrettigheder og teknologi, udtrykte skuffelse over EEOC's svar: Jeg ville faktisk håbe, at EEOC i de kommende år kunne være en lille smule mere aggressiv og kreativ i at tænke på, hvordan man bruger denne autoritet.

Pauline Kim , juraprofessor ved Washington University i St. Louis , hvis forskning fokuserer på algoritmiske ansættelsesværktøjer, siger, at EEOC kunne være mere proaktiv med at indsamle forskning og opdatere retningslinjer for at hjælpe arbejdsgivere og AI-virksomheder med at overholde loven.

Behm tilføjer, at EEOC kunne forfølge andre muligheder for håndhævelse, herunder en kommissærafgift, som gør det muligt for kommissærer at indlede en undersøgelse af formodet diskrimination i stedet for at kræve et individuelt krav (Sonderling siger, at han overvejer at rejse en sådan anklage). Han foreslår også, at EEOC rådfører sig med advocacy-grupper for at udvikle retningslinjer for AI-virksomheder, der håber på bedre at repræsentere mennesker med handicap i deres algoritmiske modeller.

Det er usandsynligt, at AI-virksomheder og arbejdsgivere screener mennesker med handicap med vilje, siger Behm. Men de har ikke brugt den tid og de kræfter, der er nødvendige for at forstå de systemer, der træffer, hvad der for mange mennesker er livsændrende beslutninger: Skal jeg ansættes eller ej? Kan jeg forsørge min familie eller ej?

skjule