211service.com
Yahoo har et værktøj, der kan fange onlinemisbrug overraskende godt
Trolde lurer tilsyneladende i hvert hjørne af internettet, og de glæder sig over at ødelægge din dag. Men hvis vores e-mail-indbakker kan holdes relativt spam-fri, hvorfor kan maskiner så ikke automatisk rense fornærmende beskeder fra tweets eller kommentarer?
Det er et spørgsmål, der synes relevant for selve strukturen i internetkulturen i dag. Sidste uge, Twitter forbudt en journalist, som den anklages for at orkestrere en misbrugskampagne rettet mod en af stjernerne i den helt kvindelige Ghostbusters genstart. Twitter sagde, at det ville introducere nye retningslinjer og værktøjer til at rapportere misbrug gennem sin tjeneste. Helt sikkert, utallige andre hændelser på Twitter og andre steder forbliver ubemærket hver dag.
Forskere gør faktisk nogle fremskridt i retning af teknologi, der kan hjælpe med at stoppe misbruget. Et team hos Yahoo er for nylig udviklet en algoritme i stand til at fange misbrugsmeddelelser bedre end noget andet automatisk system til dato. Forskerne oprettede et datasæt af misbrug ved at indsamle beskeder på Yahoo-artikler, der blev markeret som stødende af virksomhedens egne kommentarredaktører.
Yahoo-teamet brugte en række konventionelle teknikker, herunder at lede efter misbrugende søgeord, tegnsætning, der ofte syntes at ledsage misbrugsmeddelelser, og syntaktiske ledetråde om betydningen af en sætning.
Men forskerne anvendte også en mere avanceret tilgang til automatiseret sprogforståelse ved at bruge en måde at repræsentere betydningen af ord som vektorer med mange dimensioner. Denne tilgang, kendt som ordindlejring, gør det muligt at behandle semantik på en sofistikeret måde. For eksempel, selvom en kommentar indeholder en streng af ord, der ikke er blevet identificeret som misbrug, kan repræsentationerne af den streng i vektorrummet være nok til at identificere den som sådan.
Når alt var kombineret, var holdet i stand til at identificere misbrugsmeddelelser (fra deres eget datasæt) med omkring 90 procent nøjagtighed.
Det kan vise sig vanskeligt at fange de resterende 10 procent. Selvom AI-forskere gør betydelige fremskridt med at træne maskiner til at analysere sprog, har kunstig intelligens endnu ikke udstyret computere med den hjernekraft, der er nødvendig for at udrede betydningen. Som en konkurrence afholdt på en nylig AI-konference viser, kan computere ikke skille de mest simple tvetydigheder i sætninger ud.
Mange teknologivirksomheder, herunder Twitter, har AI-forskere dedikeret til at fremme det nyeste inden for områder som billedgenkendelse og tekstforståelse. Men indtil videre ser det ud til, at der er blevet lagt overraskende små kræfter i systematisk at fange misbrug eller chikane. Twitter afviste at sige, om dets AI-team arbejder aktivt på problemet (selvom det virker sandsynligt). Men det er usandsynligt, at virksomheden vil introducere en magisk kugle til at bortfiltrere ondsindede beskeder. Problemet med automatiseret hadfiltrering er, at ord er fyldt med betydning, der kun kan pakkes ud med ægte intelligens.
Automatisk identificering af misbrug er overraskende svært, siger Alex Krasodomski-Jones, der sporer misbrug på nettet som forsker med det britiske baserede Center for Analyse af Sociale Medier . Misbrugssproget er amorft - skifter ofte og bruges ofte på måder, der ikke betyder misbrug, såsom når racemæssigt eller seksuelt ladede udtryk tilegnes af de grupper, de engang nedgjorde. Med 10 tweets vil en gruppe mennesker sjældent alle blive enige om, hvilke der skal klassificeres som misbrug, så du kan forestille dig, hvor svært det ville være for en computer.
Indtil maskiner får reel intelligens, vil det være umuligt at bortfiltrere hadefulde beskeder. Men Krasodomski-Jones tilbyder en anden, mere menneskelig grund til, hvorfor vi måske ikke ønsker en automatiseret løsning: I en verden, hvor det, vi læser, i stigende grad dikteres af algoritmer og filtre, bør vi være forsigtige med at kræve mere computerinterferens.