Googles algoritme til at opdage hadefulde ytringer er racemæssigt forudindtaget

Kategori: Silicon Valley Udsendt 13. aug

AI-systemer, der er beregnet til at spotte misbrug på nettet, er langt mere tilbøjelige til at betegne tweets som stødende, hvis de blev postet af folk, der identificerer sig som afroamerikanske.

Nyhederne: Forskere byggede to AI-systemer og testede dem på et par datasæt på mere end 100.000 tweets, som var blevet kommenteret af mennesker med etiketter som stødende, ingen eller hadefulde ytringer. En af algoritmerne markerede fejlagtigt 46 % af ustødende tweets fra afroamerikanske forfattere som stødende. Test af større datasæt, herunder et bestående af 5,4 millioner tweets, viste, at indlæg fra afroamerikanske forfattere havde 1,5 gange større sandsynlighed for at blive stemplet som stødende. Da forskerne så testede Googles Perspektiv , et kunstig intelligensværktøj, som virksomheden lader enhver bruge til at moderere onlinediskussioner, fandt de lignende racemæssige skævheder.

En svær balance at finde: Masseskyderier begået af hvide overherredømmer i USA og New Zealand har ført til stigende opfordringer fra politikere til sociale medieplatforme om at gøre mere for at luge ud af hadefulde ytringer. Disse undersøgelser understreger, hvor kompliceret en opgave det er. Om sproget er stødende kan afhænge af, hvem der siger det, og hvem der hører det. For eksempel er en sort person, der bruger N-ordet, meget forskellig fra en hvid person, der bruger det. Men AI-systemer forstår ikke, og kan i øjeblikket ikke, forstå den nuance.

Risikoen: Ved at skynde os at bruge software til automatisk at luge stødende sprog ud, risikerer vi at få minoritetsstemmer til at tie. Moderering af onlineindhold er en traumatiserende, vanskeligt arbejde , så teknologivirksomheder er ivrige efter at stole på AI-systemer i stedet for mennesker (de er også meget billigere). Denne undersøgelse viser de enorme risici, der er forbundet med denne tilgang.

Tilmeld dig vores daglige nyhedsbrev The Download her for at få din dosis af de seneste nyheder, du skal læse, fra den nye teknologiske verden.