211service.com
AI er stadig dårlig til at moderere hadefulde ytringer
Fru Tech | Getty, Unsplash
På trods af alle de seneste fremskridt inden for sproglig AI-teknologi, kæmper den stadig med en af de mest basale applikationer. I et nyt studie , testede videnskabsmænd fire af de bedste AI-systemer til at opdage hadefulde ytringer og fandt ud af, at de alle kæmpede på forskellige måder for at skelne giftige og uskadelige sætninger.
Resultaterne er ikke overraskende - det er svært at skabe AI, der forstår nuancerne i naturligt sprog. Men måden forskerne diagnosticerede problemet på er vigtig. De udviklede 29 forskellige tests rettet mod forskellige aspekter af hadefuld tale for mere præcist at finde ud af præcis, hvor hvert system fejler. Dette gør det lettere at forstå, hvordan man overvinder et systems svagheder og hjælper allerede en kommerciel tjeneste med at forbedre sin AI.
Undersøgelsens forfattere, ledet af videnskabsmænd fra University of Oxford og Alan Turing Institute, interviewede medarbejdere på tværs af 16 nonprofitorganisationer, der arbejder med onlinehad. Holdet brugte disse interviews til at skabe en taksonomi af 18 forskellige typer af hadefulde ytringer, der udelukkende fokuserede på engelsk og tekstbaseret hadefulde ytringer, herunder nedsættende tale, bagtale og truende sprog. De identificerede også 11 ikke-hadefulde scenarier, der almindeligvis slår AI-moderatorer i stykker, herunder brugen af bandeord i harmløse udtalelser, bagtalelser, der er blevet tilbagevundet af det målrettede fællesskab, og fordømmelser af had, der citerer eller refererer til den oprindelige hadetale (kendt som counter tale).
For hver af de 29 forskellige kategorier håndlavede de snesevis af eksempler og brugte skabelonsætninger som jeg hader [IDENTITET] eller Du er bare en [SLUR] for mig for at generere de samme sæt eksempler for syv beskyttede grupper – identiteter, der er juridisk beskyttet mod diskrimination i henhold til amerikansk lovgivning. De open source det endelige datasæt kaldet HateCheck, som indeholder næsten 4.000 i alt eksempler.
Forskerne testede derefter to populære kommercielle tjenester: Google Jigsaw's Perspektiv API og to hatte SiftNinja . Begge tillader klienter at markere krænkende indhold i indlæg eller kommentarer. Specielt Perspective bruges af platforme som Reddit og nyhedsorganisationer som The New York Times og Wall Street Journal. Det markerer og prioriterer indlæg og kommentarer til gennemgang af mennesker baseret på dets mål for toksicitet.
Mens SiftNinja var overdrevent mild over for hadefulde ytringer og ikke kunne opdage næsten alle dens variationer, var Perspective alt for hårdt. Det udmærkede sig ved at opdage de fleste af de 18 hadefulde kategorier, men markerede også de fleste af de ikke-hadfulde, som genvundne bagtalelser og modtale. Forskerne fandt det samme mønster, da de testede to akademiske modeller fra Google, der repræsenterer noget af den bedste sproglige AI-teknologi, der findes, og som sandsynligvis tjener som grundlag for andre kommercielle indholdsmodereringssystemer. De akademiske modeller viste også ujævn præstation på tværs af beskyttede grupper - misklassificering af had rettet mod nogle grupper oftere end andre.
Relateret historie
Hvordan Facebook blev afhængig af at sprede misinformation Virksomhedens AI-algoritmer gav det en umættelig vane til løgne og hadefulde ytringer. Nu kan manden, der byggede dem, ikke løse problemet.
Resultaterne peger på et af de mest udfordrende aspekter af AI-baseret had-speech-detektion i dag: Moderat for lidt, og du formår ikke at løse problemet; moderere for meget, og du kunne censurere den slags sprog, som marginaliserede grupper bruger til at styrke og forsvare sig selv: Lige pludselig ville du straffe netop de samfund, der oftest er målrettet mod had i første omgang, siger Paul Röttger, en ph.d. kandidat ved Oxford Internet Institute og medforfatter til papiret.
Lucy Vasserman, Jigsaws ledende softwareingeniør, siger, at Perspective overvinder disse begrænsninger ved at stole på menneskelige moderatorer til at træffe den endelige beslutning. Men denne proces er ikke skalerbar til større platforme. Jigsaw arbejder nu på at udvikle en funktion, der vil omprioritere indlæg og kommentarer baseret på Perspectives usikkerhed - automatisk fjernelse af indhold, som det er sikker på, er hadefuldt, og markering af grænseoverskridende indhold til mennesker.
Det spændende ved det nye studie, siger hun, er, at det giver en finkornet måde at evaluere den nyeste viden på. Mange af de ting, der fremhæves i dette papir, såsom at genvundne ord er en udfordring for disse modeller - det er noget, der har været kendt i branchen, men som er virkelig svært at kvantificere, siger hun. Jigsaw bruger nu HateCheck til bedre at forstå forskellene mellem sine modeller, og hvor de skal forbedres.
Akademikere er også begejstrede for forskningen. Dette papir giver os en god, ren ressource til at evaluere industrisystemer, siger Maarten Sap, en sprog-AI-forsker ved University of Washington, som giver virksomheder og brugere mulighed for at bede om forbedring.
Thomas Davidson, assisterende professor i sociologi ved Rutgers University, er enig. Sprogmodellernes begrænsninger og sprogets rodet betyder, at der altid vil være afvejninger mellem under- og overidentificerende hadefuld tale, siger han. HateCheck-datasættet hjælper med at gøre disse kompromiser synlige, tilføjer han.