En videospilsalgoritme til at løse onlinemisbrug

Ligesom mange online rum er League of Legends, det mest udbredte online videospil i verden i dag, en grobund for krænkende sprogbrug og adfærd. Fremskyndet af anonymitet og forstærket i en konkurrencedygtig holdsports ophedede smeltedigel, har denne adfærd været et så stort problem for dens skaber, Riot Games, at virksomheden nu beskæftiger et dedikeret team af videnskabsmænd og designere til at finde måder at forbedre interaktionen mellem spillets spillere.

I løbet af de sidste par år har holdet eksperimenteret med en række systemer og teknikker, understøttet af maskinlæring, der er designet til at overvåge kommunikation mellem spillere, straffe negativ adfærd og belønne positiv adfærd. Resultaterne har været opsigtsvækkende, siger Jeffrey Lin, leder af sociale systemer hos Riot Games. Softwaren har overvåget adskillige millioner tilfælde af mistanke om misbrug. 92 procent af spillere, der er blevet fanget i at bruge krænkende sprog mod andre, har ikke fornærmet sig igen. Lin, som er kognitiv neuroforsker, mener, at holdets teknikker kan anvendes uden for videospilskonteksten. Han mener, at Riot kan have skabt noget af en modgift mod online toksicitet, uanset hvor den forekommer.

Projektet begyndte for flere år siden, da holdet introducerede et styringssystem, der er døbt, i overensstemmelse med spillets fantasy-tema, Tribunal. Spillet ville identificere potentielle tilfælde af krænkende sprogbrug og oprette en sagsfil over interaktionen. Disse filer blev derefter præsenteret for spillets fællesskab af spillere (anslået 67 millioner unikke brugere), som blev inviteret til at gennemgå chatloggene i spillet og stemme om, hvorvidt de fandt adfærden acceptabel. Samlet set var systemet meget nøjagtigt, siger Lin. Faktisk matchede 98 procent af samfundets domme dem fra det interne hold på Riot.

Flere millioner sager blev behandlet på denne noget arbejdskrævende måde. Snart begyndte Lin og holdet at se mønstre i det sprog, giftige spillere brugte. For at hjælpe med at optimere processen besluttede de at anvende maskinlæringsteknikker på dataene. Det viste sig at være ekstremt vellykket med at segmentere negativt og positivt sprog på tværs af de 15 officielle sprog, som League understøtter, siger Lin.

Den nye version af systemet, nu kontrolleret af teknologi i stedet for af andre spillere, gjorde det mere effektivt at give feedback og pålægge konsekvenser for giftig adfærd i spillet. Det kan nu levere feedback til spillerne inden for fem minutter, hvor det tidligere kunne tage op til en uge.

Lin siger, at systemet dramatisk forbedrede, hvad virksomheden kalder reformrater. En spiller, der tidligere har modtaget en straf, såsom en udelukkelse fra rangerede kampe, betragtes som reformeret, hvis han eller hun undgår efterfølgende straffe i en periode. Da vi tilføjede bedre feedback til straffene og inkluderede beviser såsom chatlogs for straffen, sprang reformraterne fra 50 procent til 65 procent, siger han. Men da maskinlæringssystemet begyndte at levere meget hurtigere feedback med beviserne, steg reformraterne til et rekordhøjt niveau på 92 procent.

En udfordring, systemet står over for, er den kræsne kontekst. Som i enhver holdsport opbygger spillere ofte kammeratskab gennem josing eller sarkasme, der i en anden sammenhæng kunne anses for uvenlig eller aggressiv. En maskine formår normalt ikke at fange sarkasmen. Faktisk er det måske den vigtigste barriere for at bekæmpe onlinemisbrug med maskinlæring. Det er ret rimeligt at sige, at AI'er, der forstår sprog, klarer sig bedst, når minimal kontekstuel information er nødvendig for at beregne det korrekte svar, forklarer Chris Dyer, en assisterende professor ved Carnegie Mellon University, der arbejder med naturlig sprogbehandling. Problemer, der kræver at integrere en masse information fra den kontekst, som en ytring fremsættes i, er meget sværere at løse, og sarkasme er ekstremt kontekstafhængig.

I øjeblikket forsøger Lin og hans team at løse problemet med yderligere checks og balances. Selv når systemet identificerer en spiller som at have udvist giftig adfærd, kontrolleres andre systemer for at forstærke eller nedlægge veto mod dommen. For eksempel vil den forsøge at validere hver enkelt rapport, som en spiller filer, for at bestemme hans eller hendes historiske rapports nøjagtighed. Fordi flere systemer arbejder sammen for at levere konsekvenser til spillere, ser vi i øjeblikket en sund 1 ud af 5.000 falsk-positive rate, siger Lin.

For virkelig at dæmme op for misbrug designet Riot straffe og afskrækkende foranstaltninger for at overtale spillere til at ændre deres adfærd. For eksempel kan det begrænse chatressourcer for spillere, der opfører sig krænkende, eller kræve, at spillere gennemfører ikke-rangerede spil uden hændelser, før de kan spille toprangerede spil. Virksomheden belønner også respektfulde spillere med positiv forstærkning.

Lin er overbevist om, at de erfaringer, han og hans team har lært af deres arbejde, har en bredere betydning. En af de afgørende indsigter fra forskningen er, at giftig adfærd ikke nødvendigvis kommer fra forfærdelige mennesker; det kommer fra almindelige mennesker, der har en dårlig dag, siger Justin Reich, en forsker fra Harvards Berkman Center, som har studeret Riots arbejde. Det betyder, at vores strategier til at adressere giftig adfærd online ikke kun kan målrettes mod hærdede trolde; de skal redegøre for vores kollektive menneskelige tendens til at lade det værste af os selv dukke op under internettets anonymitet.

Ikke desto mindre mener Reich, at Lins arbejde viser, at giftig adfærd ikke er en fast bestanddel af nettet, men et problem, der kan løses gennem en kombination af teknik, eksperimentering og samfundsengagement. De udfordringer, vi står over for i League of Legends, kan ses på ethvert onlinespil, platform, fællesskab eller forum, hvilket er grunden til, at vi mener, at vi er på et centralt punkt i tidslinjen for online-fællesskaber og -samfund, siger Lin. På grund af dette har vi været meget åbne i forhold til at dele vores data og bedste praksis med den bredere industri og håber, at andre studier og virksomheder tager et kig på disse resultater og indser, at online toksicitet trods alt ikke er et umuligt problem.

skjule