Forfærdelige mennesker har lært at udnytte internettet. Yasmin Green kæmper tilbage.

Jigsaw-teamet hos Alphabet bringer folk, der blev radikaliseret online, tilbage fra randen, én video ad gangen. Ved

• Martin Giles arkiv side

19. februar 2018

Landon Speers

Hadefulde ytringer, radikalisering på nettet, tutorials til bombefremstilling, statssponserede falske nyheder, webcensur – internettet er et forfærdeligt sted.

En del af det er i hvert fald. At hjælpe med at holde den del så lille som muligt er opgaven for Yasmin Green, direktør for forskning og udvikling hos Jigsaw, en del af Googles moderselskab, Alphabet. Hun tager kampen op mod terrorister og trolde med en multinational gruppe på omkring 60 specialister, herunder softwareingeniører, forskere og produktchefer. De kan også udnytte Googles enorme ressourcer. Men Green og hendes kolleger bruger ikke al deres tid på at kode og bygge; mange af dem rejser også til geopolitiske hot spots for at studere radikalisering på tæt hold. Hun talte med MIT Technology Review om nogle af gruppens metoder.

Denne historie var en del af vores marts 2018-udgave

• Se resten af ​​problemet
• Abonner

Hvad trak dig til rollen hos Jigsaw?

Jeg forlod Iran, hvor jeg blev født, i en meget ung alder og voksede op i Storbritannien. Jeg kan huske, at jeg gik tilbage i en alder af 19 og følte mig forbløffet over niveauet af censur, der var i landet, både offline og online. Udtryk som world wide web har en tendens til at lyde ironisk for folk, der ikke bor i lande, hvor information er gratis. Så jeg blev tiltrukket af at arbejde i en virksomhed, som forsøger at gøre information tilgængelig for alle.

Landon Speers

Jigsaw beskæftiger sig med onlinetrusler, men teammedlemmer besøger også konfliktzoner som en del af deres arbejde. Hvad er målet med disse ture?

Vi vil sikre os, at vi designer teknologi, der er baseret på en forståelse af menneskelige oplevelser. En stor del af vores metode er at sende teammedlemmer ud i felten for at interviewe folk, der er i frontlinjen af ​​de udfordringer, vi forsøger at tackle, uanset om det er undertrykkelse eller konflikt. En af vores ekskursioner var til Irak, hvor vi sad ansigt til ansigt med folk, der havde sluttet sig til og derefter forladt terrorgruppen kendt som ISIS. Vi ønskede at forstå radikaliseringsprocessen, både de menneskelige elementer, men også den rolle, som teknologien spillede. Vi hørte om, hvordan folk opdagede ISIS, hvordan folk blev rekrutteret, og hvordan teknologi var nyttig for logistikken af ​​deres rejse [for at slutte sig til gruppen].

Hvad er den vigtigste lektie, vi har lært om ISIS' evne til at udnytte internettet til rekruttering?

ISIS mestrer stort set mange medier, fra radio til foldere. Når det kommer til internettet, har de virkelig forstået styrken ved mikromålretning. De skaber indhold på en lang række sprog, inklusive arabisk og engelsk, men det bliver ved og ved og bliver endda til kinesisk og hebraisk. Det sprog, der virkelig blæste mig for at se en video på, var tegnsprog. Så de skaber meget lokale rekrutteringsmaterialer og bruger de algoritmer, der er tilgængelige via sociale medier, til at distribuere dette materiale og nå ud til folk i alle verdenshjørner.

Noget af det indhold, som terrornetværk lægger op på nettet, skal helt klart fjernes. Men hvordan håndterer vi mere subtile former for propaganda?

Der er helt sikkert indholdskategorier, som du vil sikre dig, at de ikke ser dagens lys, såsom halshugninger og tutorials til fremstilling af bomber. Så er der en lang række andet indhold, der virkelig ikke advokerer for vold, men som kan hjælpe med at fremme folk på vejen mod det. Vores forskning var rettet mod at forstå, hvad rekrutteringstemaerne var, der fik folk til at tilmelde sig ISIS. Det viser sig, at de generelt ikke var tiltrukket af halshugninger; i stedet var de overbevist om, at denne gruppe var religiøst legitim, og årsagen til jihad var deres religiøse pligt. ISIS formede samtalen og stillede spørgsmål, som [den] havde tilsyneladende overbevisende svar på.

Jeg tror ikke, nogen forestillede sig, at vi ville have det niveau af intimidering og hadefulde ytringer online, som vi gør i øjeblikket, og vi skal virkelig prøve hårdt for at sikre, at vi kommer foran det.

Hvordan har du forsøgt at imødegå denne online radikalisering?

En af takeaways for os var, at timing er kritisk. På det tidspunkt, hvor potentielle rekrutter bliver solgt på ideologien, er det for sent at påvirke dem; du skal komme til dem, når de er sympatiske, men endnu ikke solgt. Så vi vendte os til målrettet online annoncering. Vi har designet noget, der kaldes omdirigeringsmetoden, som bruger målrettede annoncer til at nå ud til folk, der er sympatiske over for ISIS, men endnu ikke er forpligtet til det, og omdirigerer dem til onlinevideoer fra moderate præster, afhoppere og borgerjournalister, der kan afværge deres radikalisering.

Hvilke resultater har denne metode givet?

Piloten, som var otte uger lang og kørte på arabisk og engelsk, nåede ud til 320.000 mennesker. Det havde en usædvanlig høj klikrate på annoncerne og kørte en halv million minutters videovisningstid. Da folk ikke bruger mere end et par sekunder på en video, de ikke er interesserede i, er det opmuntrende. Efter vores pilot, integrerede YouTube metoden i sine søgeresultater. Open source-metoden er også blevet kopieret af andre som Gen Next Foundation, og vi fortsætter med at støtte nogle nye implementeringer.

Jigsaw forsøger også at tackle onlinecensur. Hvor slemt er dette problem?

Hvis man ser på Freedom Houses indeks på dette, siger de, at situationen hvert år bliver værre. Det er virkelig nedslående, fordi det er i modsætning til, hvad folk, der udvikler internettet, vil have for det. Situationen er så ustabil. Når man har borgerlig uro, som der var for nylig i Iran, ser man undertrykkende regeringers dilemma omkring, hvorvidt man skal lukke internettet ned, fordi [censurering] opildner befolkningen og vækker offentlig opmærksomhed og forargelse. Men hvis magthaverne føler sig truet, vil de censurere.

Hvad kan virksomheder som Alphabet gøre for at imødegå dette?

Vi føler et virkelig stort ansvar for at hjælpe folk med at få adgang til information, især når der er konflikter og undertrykkelse. Et af vores produkter fokuserer på at beskytte uafhængige medier rundt om i verden mod en type censurangreb kaldet distribueret denial of service eller DDoS, som slår websteder offline ved at oversvømme dem med trafik. Det hedder Project Shield. Idéen til dette kom fra vores feltarbejde. Vores team talte med den kenyanske valgovervågningsgruppe, og deres side var gået ned på dagen for et nøglevalg. Google har en enorm infrastruktur og DDoS-reduktionsmuligheder i verdensklasse, som Project Shield udnytter. Uden at hjemmesider skal hoste hos Google eller Jigsaw, tilbyder den at undersøge trafik, før den ankommer til en server, så vi kan spotte den trafik, der er ondsindet, og filtrere den fra.

Lad os skifte til problemet med falske nyheder. Hvordan kan vi bedre identificere statsstøttet desinformationsindsats?

Relateret historie

Relateret historie Yasmin Green, leder af R&D for Alphabet's Jigsaw, bruger teknologi i håb om at gøre verden til et bedre sted. Det er ikke nemt.

Målet med disse kampagner er at plante ideer og fortællinger via falske personas og nyhedssider, og derefter få disse frø befrugtet af masserne, så samtalerne ser ud som om de er organiske. Det forskningsspørgsmål, vi har stillet os selv, er, om der er tekniske markører for koordineret, skjult aktivitet kontra den mere organiske aktivitet, vi forventer at se online. Hvis der er, kunne vi bruge disse til automatisk detektion.

Vi ser på flere dimensioner her. Koordinerede kampagner har en tendens til at vare længere end organiske, og de involverede mennesker har en tendens til at vente på at få instruktioner fra deres herrer, så der er nogle gange en lille forsinkelse, før de pludselig handler sammen. Disse aktører har også en tendens til at være forbundet i ekstremt tætte netværk eller klynger, der ser unormale ud. Der er også en semantisk dimension. Disse kampagner bruger ofte lignende ord og sætninger, der kan være et signal om centraliseret kontrol.

Webvirksomheder er blevet kritiseret for ikke at gøre nok for at adressere hadefulde ytringer og chikane på nettet. Er den kritik rimelig?

Jeg tror ikke, nogen forestillede sig, at vi ville have det niveau af intimidering og hadefulde ytringer online, som vi gør i øjeblikket, og vi skal virkelig prøve hårdt for at sikre, at vi kommer foran det.

Hvad gør Jigsaw for at frustrere online trolde?

Vi har et team dedikeret til at se, hvordan naturlig sprogbehandling og maskinlæring kan bruges til at identificere online toksicitet og hjælpe moderatorer og fællesskaber med at tackle det. Der er en model, vi har udviklet, som er offentligt tilgængelig, kaldet Perspective, og du kan finde den på www.perspectiveapi.com . Dette hjælper dig med at score kommentarer for deres toksicitetsniveau. Forskerholdet ser på måder, hvorpå vi kan komme til et andet granularitetsniveau for at hjælpe os med bedre at identificere, hvad der sker, og hvordan moderatorer kan kontrollere det.

Der har været stor bekymring for, at skævhed i algoritmer kunne skade visse grupper i samfundet. Er det noget du også har fokus på?

Ja. Vi bruger meget tid på at tænke på, hvordan vi kan sikre, at vi ikke har skævheder i vores AI i Perspektiv, der kan være skadelige for målene for det projekt, som er at skabe inkluderende og empatiske samtaler.

Du bruger meget af dit liv på at fokusere på den mørke side af internettet. Er du stadig optimistisk omkring dets potentiale?

Det er jeg, men vi er nødt til at blive ved med at udvikle innovative teknologier, der kan hjælpe med at løse disse virkelig hårde udfordringer.

skjule