Vi testede AI-interviewværktøjer. Her er hvad vi fandt.

Efter mere end et år med covid-19-pandemien søger millioner af mennesker efter arbejde i USA. AI-drevet interviewsoftware hævder at hjælpe arbejdsgivere med at gennemgå applikationer for at finde de bedste folk til jobbet. Virksomheder med speciale i denne teknologi rapporterede en stigning i erhvervslivet under pandemien.

Men efterhånden som efterspørgslen efter disse teknologier stiger, så gør det også spørgsmål om deres nøjagtighed og pålidelighed . I den seneste episode af MIT Technology Review's podcast In Machines We Trust testede vi software fra to firmaer med speciale i AI jobsamtaler, Mitinterview og Nysgerrig ting . Og vi fandt variationer i forudsigelserne og jobmatch-scores, der vækker bekymring over, hvad disse algoritmer præcist evaluerer.

At kende dig

MyInterview måler træk, der tages i betragtning i Big Five Personality Test, en psykometrisk evaluering, der ofte bruges i ansættelsesprocessen. Disse træk omfatter åbenhed, samvittighedsfuldhed, udadvendthed, behagelighed og følelsesmæssig stabilitet. Curious Thing måler også personlighedsrelaterede træk, men i stedet for Big Five bliver kandidater evalueret på andre målinger, såsom ydmyghed og robusthed.

Dette skærmbillede viser vores kandidats kampscore og personlighedsanalyse på MyInterview efter at have besvaret alle interviewspørgsmål på tysk i stedet for engelsk.

HELKE SCHELLMANN

Algoritmerne analyserer kandidaternes svar for at bestemme personlighedstræk. MyInterview kompilerer også score, der angiver, hvor tæt en kandidat matcher de egenskaber, som er identificeret af ansættelsesledere som ideelle til stillingen.

For at fuldføre vores test konfigurerer vi først softwaren. Vi uploadede et falsk jobopslag for en kontoradministrator/-forsker på både MyInterview og Curious Thing. Derefter konstruerede vi vores ideelle kandidat ved at vælge personlighedsrelaterede træk, når systemet blev bedt om det.

På MyInterview valgte vi karakteristika som opmærksomhed på detaljer og rangerede dem efter vigtighedsniveau. Vi valgte også interviewspørgsmål, som vises på skærmen, mens kandidaten optager videosvar. På Curious Thing valgte vi egenskaber som ydmyghed, tilpasningsevne og modstandsdygtighed.

En af os, Hilke, søgte så stillingen og gennemførte samtaler til rollen på både MyInterview og Curious Thing.

Vores kandidat gennemførte et telefoninterview med Curious Thing. Hun lavede først en almindelig jobsamtale og fik 8,5 ud af 9 for engelsk kompetence. I et andet forsøg stillede den automatiske interviewer de samme spørgsmål, og hun svarede på hvert enkelt spørgsmål ved at læse Wikipedia-indlægget for psykometri på tysk.

Men Curious Thing tildelte hende en 6 ud af 9 for engelsk kompetence. Hun afsluttede interviewet igen og fik samme score.

Et skærmbillede viser vores kandidats engelske kompetencescore i Curious Things software, efter at hun har besvaret alle spørgsmål på tysk.

HELKE SCHELLMANN

Vores kandidat henvendte sig til MyInterview og gentog eksperimentet. Hun læste det samme Wikipedia-indlæg højt på tysk. Algoritmen returnerede ikke kun en personlighedsvurdering, men den forudsagde også, at vores kandidat ville matche 73 % til det falske job, hvilket placerede hende i den øverste halvdel af alle de ansøgere, vi havde bedt om at søge.

MyInterview giver ansættelsesledere et udskrift af deres interviews. Da vi inspicerede vores kandidats udskrift, fandt vi ud af, at systemet fortolkede hendes tyske ord som engelske ord. Men udskriften gav ingen mening. De første par linjer, der svarer til svaret ovenfor, lyder:

|_+_|

Uoverensstemmende

I stedet for at score vores kandidat på indholdet af hendes svar, trak algoritmen personlighedstræk fra hendes stemme, siger Clayton Donnelly , en industri- og organisationspsykolog, der arbejder med MyInterview.

Men intonation er ikke en pålidelig indikator for personlighedstræk, siger Fred Oswald , professor i industriel organisationspsykologi ved Rice Universitet . Vi kan virkelig ikke bruge intonation som data til ansættelser, siger han. Det virker bare ikke retfærdigt eller pålideligt eller gyldigt.

Brug af åbne spørgsmål til at bestemme personlighedstræk udgør også betydelige udfordringer, selv når – eller måske især når – den proces er automatiseret. Derfor giver mange personlighedstests, såsom Big Five, folk muligheder at vælge imellem.

Pointen på bundlinjen er, at personlighed er svær at pirre ud i denne åbne forstand, siger Oswald. Der er muligheder for AI eller algoritmer, og måden spørgsmålene stilles på er mere struktureret og standardiseret. Men jeg tror ikke, at vi nødvendigvis er der med hensyn til data, med hensyn til designs, der giver os data.

Medstifter og teknologichef for Curious Thing, Han Xu , svarede på vores resultater i en e-mail og sagde: Det er allerførste gang, at vores system bliver testet på tysk, og derfor et ekstremt værdifuldt datapunkt for os at undersøge og se, om det afslører noget i vores system.

Bias paradokset

Præstationer på AI-drevne interviews er ofte ikke den eneste metrik, potentielle arbejdsgivere bruger til at evaluere en kandidat. Og disse systemer kan faktisk reducere bias og finde bedre kandidater end menneskelige interviewere gør. Men mange af disse værktøjer er ikke uafhængigt testet, og de virksomheder, der har bygget dem, er tilbageholdende med at dele detaljer om, hvordan de fungerer, hvilket gør det svært for enten kandidater eller arbejdsgivere at vide, om algoritmerne er nøjagtige, eller hvilken indflydelse de skal have på ansættelsen. beslutninger.

Mark Gray , der arbejder på en dansk ejendomsadministrationsplatform kaldet Passende , begyndte at bruge AI-videointerviews under sin tidligere menneskelige ressourcerolle hos elektronikvirksomheden Airtame . Han siger, at han oprindeligt inkorporerede softwaren, produceret af et tysk firma kaldet Retorio , i interviews for at hjælpe med at reducere den menneskelige skævhed, der ofte udvikler sig, når ansættelsesledere småsnakker med kandidater.

Selvom Gray ikke udelukkende baserer ansættelsesbeslutninger på Retorios evaluering, som også trækker på de fem store træk, tager han det i betragtning som et af mange datapunkter, når han skal vælge kandidater. Jeg synes ikke, det er en sølvkugle til at finde ud af, hvordan man ansætter den rigtige person, siger han.

Grays sædvanlige ansættelsesproces inkluderer et screeningsopkald og et Retorio-interview, som han inviterer de fleste kandidater til at deltage i, uanset hvilket indtryk de gjorde i screeningen. Succesfulde kandidater går derefter videre til en jobfærdighedstest efterfulgt af et liveinterview med andre medlemmer af teamet.

Relateret historie

LinkedIns jobmatchende AI var forudindtaget. Virksomhedens løsning? Mere AI.

ZipRecruiter, CareerBuilder, LinkedIn – de fleste af verdens største jobsøgningssider bruger kunstig intelligens til at matche folk med jobåbninger. Men algoritmerne spiller ikke altid fair.

Med tiden bør produkter som Retorio og Retorio selv – enhver virksomhed bruge det, fordi det bare giver dig så meget indsigt, siger Gray. Selvom der er nogle spørgsmålstegn og kontroverser i AI-sfæren generelt, tror jeg, at det større spørgsmål er, er vi en bedre eller dårligere dommer over karakter?

Gray anerkender kritikken omkring AI-interviewværktøjer. An efterforskning udgivet i februar af Bavarian Public Broadcasting fandt ud af, at Retorios algoritme vurderede kandidater forskelligt, når de brugte forskellige videobaggrunde og tilbehør, såsom briller, under interviewet.

Retorios medstifter og administrerende direktør, Christopher Hohenberger , siger, at selvom han ikke er klar over de særlige forhold bag journalisternes testmetoder, har virksomheden ikke til hensigt, at dets software skal være den afgørende faktor ved ansættelse af kandidater. Vi er et hjælpeværktøj, og det bliver brugt i praksis også sammen med mennesker på den anden side. Det er ikke et automatisk filter, siger han.

Alligevel er indsatsen så høj for jobsøgende, der forsøger at navigere i disse værktøjer, at der helt sikkert er mere forsigtighed påkrævet. For de fleste handler sikring af beskæftigelse ikke kun om en ny udfordring eller et nyt miljø – at finde et job er afgørende for deres økonomiske overlevelse.

skjule