Revisorer tester ansættelsesalgoritmer for bias, men der er ingen nem løsning

AI-revisioner kan overse visse typer bias, og de bekræfter ikke nødvendigvis, at et ansættelsesværktøj udvælger de bedste kandidater til et job.

Simon Simard

ved

• Hilke Schellmann arkiv side

11. februar 2021

Jeg er hjemme og spiller et videospil på min computer. Mit job er at pumpe en ballon op ad gangen og tjene så mange penge som muligt. Hver gang jeg klikker på Pumpe, udvides ballonen, og jeg modtager fem virtuelle cents. Men hvis ballonen springer, før jeg trykker på Saml, forsvinder al min digitale indtjening.

Efter at have fyldt 39 balloner, har jeg tjent $14,40. En besked vises på skærmen: Du holder fast i en konsekvent tilgang i højrisikosituationer. Målt egenskab: Risiko.

Dette spil er et af en serie lavet af et firma kaldet Pymetrics, som mange store amerikanske firmaer hyrer til at screene jobansøgere. Hvis du ansøger til McDonald's, Boston Consulting Group, Kraft Heinz eller Colgate-Palmolive, kan du blive bedt om at spille Pymetrics' spil.

Mens jeg spiller, måler et kunstig intelligens-system egenskaber, herunder generøsitet, retfærdighed og opmærksomhed. Hvis jeg rent faktisk søgte en stilling, ville systemet sammenligne mine resultater med de ansatte, der allerede arbejder i det job. Hvis min personlighedsprofil afspejlede de træk, der er mest specifikke for folk, der har succes i rollen, ville jeg gå videre til næste ansættelsesstadie.

Flere og flere virksomheder bruger AI-baserede ansættelsesværktøjer som disse til at styre den strøm af ansøgninger, de modtager - især nu, hvor der er omtrent dobbelt så mange arbejdsløse arbejdere i USA som før pandemien. En undersøgelse af over 7.300 menneskelige ressourcechefer verden over af Mercer, et asset management-firma, fandt ud af, at andelen, der sagde, at deres afdeling bruger prædiktiv analyse, sprang fra 10 % i 2016 til 39 % i 2020.

Stills of Pymetrics' kerneprodukt, en suite af 12 AI-baserede spil, som firmaet siger, kan skelne en jobansøgers sociale, kognitive og følelsesmæssige egenskaber.

PYMETRI

Som med andre AI-applikationer har forskere dog fundet ud af, at nogle ansættelsesværktøjer producerer partiske resultater — utilsigtet begunstigelse af f.eks. mænd eller personer med en bestemt socioøkonomisk baggrund. Mange slår nu til lyd for større gennemsigtighed og mere regulering. Især én løsning foreslås igen og igen: AI-revisioner.

Sidste år betalte Pymetrics et team af dataloger fra Northeastern University for at revidere deres ansættelsesalgoritme. Det var en af ​​de første gange, en sådan virksomhed havde anmodet om en tredjepartsrevision af sit eget værktøj. Administrerende direktør Frida Polli fortalte mig, at hun mente, at oplevelsen kunne være en model for overholdelse af en lovforslag, der kræver sådanne revisioner for virksomheder i New York City, hvor Pymetrics er baseret.

Pymetrics markedsfører sin software som fuldstændig bias-fri.

Det, Pymetrics gør, som bringer en neutral tredjepart til revision, er en rigtig god retning at bevæge sig i, siger Pauline Kim, juraprofessor ved Washington University i St. Louis, som har ekspertise inden for ansættelsesret og kunstig intelligens. Hvis de kan presse branchen til at være mere gennemsigtig, er det et rigtig positivt skridt fremad.

På trods af al den opmærksomhed, som AI-revisioner har fået, er deres evne til faktisk at opdage og beskytte mod bias stadig ubevist. Udtrykket AI-revision kan betyde mange forskellige ting, hvilket gør det svært at stole på resultaterne af revisioner generelt. De mest strenge revisioner kan stadig begrænses i omfang. Og selv med uhindret adgang til en algoritmes indre, kan det være overraskende svært at sige med sikkerhed, om den behandler ansøgere retfærdigt. I bedste fald giver revisioner et ufuldstændigt billede, og i værste fald kan de hjælpe virksomheder med at skjule problematisk eller kontroversiel praksis bag en revisors godkendelsesstempel.

Inde i en AI-revision

Mange slags AI-ansættelsesværktøjer er allerede i brug i dag. De omfatter software, der analyserer en kandidats ansigtsudtryk, tone og sprog under videointerviews samt programmer, der scanner cv'er, forudsiger personlighed eller undersøger en ansøgers sociale medieaktivitet.

Uanset hvilken slags værktøj de sælger, lover AI-udlejningsleverandører generelt, at disse teknologier vil finde bedre kvalificerede og mere forskelligartede kandidater til lavere omkostninger og på kortere tid end traditionelle HR-afdelinger. Der er dog meget lidt bevis for, at de gør det, og det er under alle omstændigheder ikke det, AI-audit af Pymetrics' algoritme testede for. I stedet havde det til formål at afgøre, om et bestemt ansættelsesværktøj groft diskriminerer kandidater på baggrund af race eller køn.

Christo Wilson hos Northeastern havde gransket algoritmer før, inklusive dem, der drive Ubers stigningspriser og Googles søgemaskine . Men indtil Pymetrics ringede, havde han aldrig arbejdet direkte med en virksomhed, han var ved at undersøge.

Wilsons team, som omfattede hans kollega Alan Mislove og to kandidatstuderende, stolede på data fra Pymetrics og havde adgang til virksomhedens dataforskere. Revisorerne var redaktionelt uafhængige, men indvilligede i at underrette Pymetrics om eventuelle negative resultater før offentliggørelse. Virksomheden betalte Northeastern $104.465 via et tilskud , inklusive $64.813, der gik til lønninger til Wilson og hans team.

Relateret historie

Deepfake porno ødelægger kvinders liv. Nu kan loven endelig forbyde det.

Efter flere års aktivister, der kæmper for at beskytte ofre for billedbaseret seksuel vold, tvinger deepfakes endelig lovgivere til at være opmærksomme.

Pymetrics' kerneprodukt er en suite med 12 spil, som den siger, er hovedsageligt baseret på kognitionsvidenskabelige eksperimenter . Spillene er ikke beregnet til at blive vundet eller tabt; de er designet til at skelne en ansøgers kognitive, sociale og følelsesmæssige egenskaber, herunder risikotolerance og indlæringsevne. Pymetrics markedsfører sin software som helt fri for partiskhed . Pymetrics og Wilson besluttede, at revisorerne ville fokusere snævert på ét specifikt spørgsmål: Er virksomhedens modeller fair?

De baserede definitionen af ​​retfærdighed på det, der i daglig tale er kendt som fire-femtedelsreglen, som er blevet en uformel ansættelsesstandard i USA. Equal Employment Opportunity Commission (EEOC) frigivet retningslinjer i 1978 anfører, at ansættelsesprocedurer bør udvælge nogenlunde den samme andel af mænd og kvinder og af mennesker fra forskellige racegrupper. Under fire-femtedeles reglen, forklarer Kim, hvis mænd gik 100 % af tiden til næste trin i ansættelsesprocessen, skal kvinder bestå mindst 80 % af tiden.

Hvis en virksomheds ansættelsesværktøjer overtræder fire-femtedele-reglen, kan EEOC se nærmere på dens praksis. For en arbejdsgiver er det ikke et dårligt tjek, siger Kim. Hvis arbejdsgivere sørger for, at disse værktøjer ikke er groft diskriminerende, vil de efter al sandsynlighed ikke henlede opmærksomheden fra føderale tilsynsmyndigheder.

For at finde ud af, om Pymetrics' software ryddede denne bjælke, måtte Northeastern-teamet først prøve at forstå, hvordan værktøjet fungerer.

Når en ny kunde tilmelder sig Pymetrics, skal den udvælge mindst 50 medarbejdere, der har haft succes i den rolle, den ønsker at udfylde. Disse medarbejdere spiller Pymetrics' spil for at generere træningsdata. Dernæst sammenligner Pymetrics' system data fra de 50 ansatte med spildata fra mere end 10.000 personer, der er tilfældigt udvalgt blandt over to millioner. Systemet bygger derefter en model, der identificerer og rangerer de færdigheder, der er mest specifikke for kundens succesfulde medarbejdere.

For at kontrollere for bias kører Pymetrics denne model mod et andet datasæt på omkring 12.000 personer (tilfældigt udvalgt blandt over 500.000), som ikke kun har spillet spillene, men også afsløret deres demografi i en undersøgelse. Ideen er at afgøre, om modellen ville bestå fire-femtedele-testen, hvis den evaluerede disse 12.000 mennesker.

Hvis systemet opdager nogen skævhed, bygger og tester det flere modeller, indtil det finder en, der både forudsiger succes og producerer nogenlunde samme beståelsesrater for mænd og kvinder og for medlemmer af alle racegrupper. Så i teorien, selvom de fleste af en klients succesfulde medarbejdere er hvide mænd, kan Pymetrics korrigere for bias ved at sammenligne spildata fra disse mænd med data fra kvinder og folk fra andre racegrupper. Det, den leder efter, er datapunkter, der forudsiger egenskaber, der ikke korrelerer med race eller køn, men som kendetegner succesfulde medarbejdere.

Christo Wilson fra Northeastern University

SIMON SIMARD

Wilson og hans hold af auditører ønskede at finde ud af, om Pymetrics anti-bias-mekanisme faktisk forhindrer bias, og om den kan narre. For at gøre det forsøgte de dybest set at spille systemet ved for eksempel at duplikere spildata fra den samme hvide mand mange gange og forsøge at bruge det til at bygge en model. Resultatet var altid det samme: Den måde, deres kode er lagt ud på, og den måde, dataforskerne bruger værktøjet på, var der ingen indlysende måde at narre dem til i det væsentlige at producere noget, der var forudindtaget og få det ryddet, siger Wilson.

Sidste efterår delte revisorerne deres resultater med virksomheden: Pymetrics system opfylder fire-femtedeles reglen. Northeastern-holdet har for nylig offentliggjort Studiet af algoritmen online og vil præsentere en rapport om arbejdet i marts på den algoritmiske ansvarlighedskonference FAccT.

Den store takeaway er, at Pymetrics faktisk gør et rigtig godt stykke arbejde, siger Wilson.

En ufuldkommen løsning

Men selvom Pymetrics' software opfylder fire-femtedele-reglen, beviste revisionen ikke, at værktøjet er fri for nogen som helst skævhed, og heller ikke at det faktisk udvælger de mest kvalificerede kandidater til noget job.

Det føltes effektivt som om, at spørgsmålet, der blev stillet, var mere: 'Gør Pymetrics, hvad de siger, de gør?' i modsætning til 'Gør de det rigtige eller rigtige?' siger Manish Raghavan, en ph.d.-studerende i datalogi ved Cornell University, som har udgivet meget om kunstig intelligens og ansættelse.

Det føltes effektivt som om, at spørgsmålet, der blev stillet, var mere 'Gør Pymetrics, hvad de siger, de gør?' i modsætning til 'Gør de det rigtige eller rigtige?'

For eksempel kræver fire-femtedeles reglen kun, at folk fra forskellige køn og racegrupper går videre til næste runde af ansættelsesprocessen med nogenlunde samme satser. Et AI-ansættelsesværktøj kunne opfylde dette krav og stadig være vildt inkonsekvent til at forudsige, hvor godt folk fra forskellige grupper rent faktisk lykkes i jobbet, når de først er blevet ansat. Og hvis et værktøj forudsiger succes mere præcist for mænd end kvinder, for eksempel, ville det betyde, at det faktisk ikke identificerer de bedst kvalificerede kvinder, så de kvinder, der bliver ansat, er måske ikke så succesfulde på jobbet, siger Kim.

Et andet problem, som hverken fire-femtedelsreglen eller Pymetrics' audit adresserer, er intersektionalitet. Reglen sammenligner mænd med kvinder og en racegruppe med en anden for at se, om de består med samme hastighed, men den sammenligner f.eks. hvide mænd ikke med asiatiske mænd eller sorte kvinder. Du kunne have noget, der opfyldte fire-femtedeles reglen [for] mænd versus kvinder, sorte versus hvide, men det kan skjule en skævhed mod sorte kvinder, siger Kim.

Pymetrics er ikke den eneste virksomhed, der får sin AI revideret. HireVue, en anden stor leverandør af AI-udlejningssoftware, fik et firma ved navn O'Neil Risk Consulting and Algorithmic Auditing (ORCAA) til at evaluere en af ​​sine algoritmer. Det firma er ejet af Cathy O'Neil, en dataforsker og forfatter til Matematikødelæggelsesvåben, en af ​​de banebrydende populære bøger om AI-bias, som har slået til lyd for AI-audits i årevis.

ORCAA og HireVue fokuserede deres revision på ét produkt: HireVues ansættelsesvurderinger, som mange virksomheder bruger til at evaluere nyuddannede universitetsuddannede. I dette tilfælde evaluerede ORCAA ikke det tekniske design af selve værktøjet. I stedet interviewede virksomheden interessenter (inklusive en jobansøger, en AI-etiker og flere nonprofitorganisationer) om potentielle problemer med værktøjerne og gav HireVue anbefalinger til forbedring af dem. Den endelige rapport offentliggøres på HireVues hjemmeside, men kan først læses efter underskrivelse af en fortrolighedserklæring.

Alex Engler, en stipendiat ved Brookings Institution, som har studeret AI-ansættelsesværktøjer og som er bekendt med begge revisioner, mener, at Pymetrics er den bedste: Der er stor forskel på dybden af ​​den analyse, der blev aktiveret, siger han. Men endnu en gang behandlede ingen af ​​revisionerne, om produkterne virkelig hjælper virksomheder med at træffe bedre ansættelsesvalg. Og begge dele blev finansieret af de virksomheder, der blev revideret, hvilket skaber en lille smule risiko for, at revisor bliver påvirket af, at der er tale om en klient, siger Kim.

Af disse grunde, siger kritikere, er frivillige revisioner ikke nok. Dataforskere og ansvarlighedseksperter presser nu på for en bredere regulering af AI-ansættelsesværktøjer samt standarder for revision af dem.

At udfylde hullerne

Nogle af disse foranstaltninger begynder at dukke op i USA. Tilbage i 2019 introducerede senatorerne Cory Booker og Ron Wyden og repræsentanten Yvette Clarke Algorithmic Accountability Act at gøre bias-revisioner obligatoriske for alle store virksomheder, der bruger kunstig intelligens, selvom lovforslaget ikke er blevet ratificeret.

I mellemtiden er der en vis bevægelse på statsniveau. Det AI Video Interview Act i Illinois, som trådte i kraft i januar 2020, kræver, at virksomheder fortæller kandidater, når de bruger AI i videointerviews. Byer tager også affære - i Los Angeles foreslog byrådsmedlem Joe Buscaino et retfærdigt ansættelsesforslag for automatiserede systemer i november.

Det New York City regning i særdeleshed kunne tjene som model for byer og stater på landsplan. Det ville gøre årlige revisioner obligatoriske for leverandører af automatiserede ansættelsesværktøjer. Det ville også kræve, at virksomheder, der bruger værktøjerne, fortæller ansøgere, hvilke egenskaber deres system brugte til at træffe en beslutning.

Men spørgsmålet om, hvordan de årlige revisioner faktisk ville se ud, er stadig åbent. For mange eksperter ville en revision på linje med, hvad Pymetrics gjorde, ikke gå meget langt i at afgøre, om disse systemer diskriminerer, eftersom denne revision ikke tjekkede for intersektionalitet eller evaluerede værktøjets evne til nøjagtigt at måle de egenskaber, det hævder at måle for. mennesker af forskellige racer og køn.

Og mange kritikere vil gerne se revision udført af regeringen i stedet for private virksomheder for at undgå interessekonflikter. Der bør være en forebyggende regulering, så før du bruger nogen af ​​disse systemer, skal Equal Employment Opportunity Commission gennemgå den og derefter give den licens, siger Frank Pasquale, professor ved Brooklyn Law School og ekspert i algoritmisk ansvarlighed. Han har i tankerne en forhåndsgodkendelsesproces for algoritmiske ansættelsesværktøjer svarende til, hvad Food and Drug Administration bruger med lægemidler.

Indtil videre har EEOC ikke engang udstedt klare retningslinjer for ansættelse af algoritmer, der allerede er i brug. Men tingene begynder måske snart at ændre sig. I december, 10 senatorer sendte et brev til EEOC, hvor de spurgte, om det har autoritet til at påbegynde politiansættelse af AI-ansættelsessystemer for at forhindre diskrimination af farvede mennesker, som allerede er blevet uforholdsmæssigt ramt af tab af arbejdspladser under pandemien.