Hvordan Facebook og Google finansierer global misinformation

Teknologigiganterne betaler millioner af dollars til operatørerne af clickbait-sider, og finansierer forringelsen af ​​informationsøkosystemer rundt om i verden.





lys og skygge på gulvet

Getty

  • Karen Hao arkiv side
20. november 2021

Myanmar, marts 2021.

En måned efter den demokratiske regerings fald.



Din browser understøtter ikke videomærket. Din browser understøtter ikke videomærket.

En Facebook Live-video viste hundredvis af mennesker, der protesterede mod militærkuppet på gaderne i Myanmar.

Det havde næsten 50.000 delinger og over 1,5 millioner visninger i et land med lidt over 54 millioner mennesker.

Observatører, der ikke var i stand til at se begivenhederne på jorden, brugte optagelserne sammen med hundredvis af andre live-feeds til at spore og dokumentere situationen. (MIT Technology Review slørede navnene og billederne på plakaterne for at undgå at bringe deres sikkerhed i fare.)



Men mindre end et døgn senere ville den samme video blive udsendt igen flere gange, og hver af dem hævdede stadig at være live.

Midt i en massiv politisk krise var der ikke længere en måde at skelne mellem, hvad der var virkeligt, og hvad der ikke var.

I 2015 var seks af de 10 websteder i Myanmar, der fik mest engagement på Facebook, fra legitime medier, ifølge data fra CrowdTangle, et Facebook-drevet værktøj. Et år senere tilbød Facebook (som for nylig blev omdøbt til Meta) global adgang til Instant Articles, et program, som udgivere kunne bruge til at tjene penge på deres indhold.



Et år efter udgivelsen tegnede legitime udgivere sig for kun to af de 10 bedste udgivere på Facebook i Myanmar. I 2018 udgjorde de nul. Alt engagementet var i stedet gået til fake news og clickbait-hjemmesider. I et land, hvor Facebook er synonymt med internettet, overvældede lavkvalitetsindholdet andre informationskilder.

Det var under denne hurtige nedbrydning af Myanmars digitale miljø, at en militant gruppe af rohingyaer – en overvejende muslimsk etnisk minoritet – angreb og dræbte et dusin medlemmer af sikkerhedsstyrkerne i august 2017. Da politi og militær begyndte at slå ned på rohingyaerne og skubbede antimuslimsk propaganda ud, falske nyhedsartikler, der udnyttede stemningen, gik viralt. De hævdede, at muslimer var bevæbnede, at de samlede sig i pøbelmasser på 1.000, at de var rundt om hjørnet og kom for at dræbe dig.

Det er stadig ikke klart i dag, om de falske nyheder primært kom fra politiske aktører eller fra økonomisk motiverede. Men uanset hvad, virkede den store mængde af falske nyheder og clickbait som brændstof på flammerne af allerede farligt høje etniske og religiøse spændinger. Det ændrede den offentlige mening og eskalerede konflikten, som i sidste ende førte til 10.000 rohingyas død efter konservative skøn, og 700.000 flere blev fordrevet.



I 2018 fastslog en FN-undersøgelse, at volden mod rohingyaerne udgjorde et folkedrab, og at Facebook havde spillet en afgørende rolle i grusomhederne. Måneder senere indrømmede Facebook, at det ikke havde gjort nok for at forhindre, at vores platform blev brugt til at fremme splittelse og tilskynde til offline vold.

I løbet af de sidste par uger har afsløringerne fra Facebook Papers, en samling af interne dokumenter leveret til Kongressen og et konsortium af nyhedsorganisationer af whistlebloweren Frances Haugen, bekræftet, hvad civilsamfundsgrupper har sagt i årevis: Facebooks algoritmiske forstærkning af inflammatorisk indhold , kombineret med dens manglende prioritering af indholdsmoderering uden for USA og Europa, har givet næring til spredningen af ​​hadefulde ytringer og misinformation, hvilket farligt har destabiliseret lande rundt om i verden.

Men der mangler en afgørende brik i historien. Facebook forstærker ikke kun misinformation.

Virksomheden finansierer det også.

En MIT Technology Review undersøgelse, baseret på ekspertinterviews, dataanalyser og dokumenter, der ikke var inkluderet i Facebook-papirerne, har fundet ud af, at Facebook og Google betaler millioner af annoncedollars til bankroll-clickbait-aktører, hvilket giver næring til forringelsen af ​​informationsøkosystemer rundt om i verden.

Anatomien i en clickbait-farm

Facebook lancerede sit Instant Articles-program i 2015 med en håndfuld amerikanske og europæiske forlag. Virksomheden fakturerede programmet som en måde at forbedre indlæsningstider for artikler og skabe en slankere brugeroplevelse.

Relateret historie

Hvordan Facebook blev afhængig af at sprede misinformation

Virksomhedens AI-algoritmer gav det en umættelig vane til løgne og hadefulde ytringer. Nu kan manden, der byggede dem, ikke løse problemet.

Det var det offentlige salg. Men flytningen fik også bekvemt annoncekroner fra Google. Før Instant Articles ville artikler, der blev lagt på Facebook, omdirigere til en browser, hvor de ville åbne op på udgiverens egen hjemmeside. Annonceudbyderen, normalt Google, ville derefter tjene penge på alle annoncevisninger eller klik. Med den nye ordning ville artikler åbne op direkte i Facebook-appen, og Facebook ville eje annoncepladsen. Hvis en deltagende udgiver også havde valgt at tjene penge med Facebooks annoncenetværk, kaldet Audience Network, kunne Facebook indsætte annoncer i udgiverens historier og tage 30 % ned i omsætningen.

Instant Articles faldt hurtigt i unåde hos sin originale gruppe af store mainstream-udgivere. For dem var udbetalingerne ikke høje nok sammenlignet med andre tilgængelige former for indtægtsgenerering. Men det var ikke sandt for udgivere i det globale syd, som Facebook startede optagelse i programmet i 2016 . I 2018 meldte virksomheden udbetaling 1,5 milliarder dollars til udgivere og app-udviklere (som også kan deltage i Audience Network). I 2019 var det tal nået flere milliarder .

Tidligt udførte Facebook kun lidt kvalitetskontrol af de typer udgivere, der tilsluttede sig programmet. Platformens design straffede heller ikke brugerne tilstrækkeligt for at poste identisk indhold på tværs af Facebook-sider - faktisk belønnede det adfærden. At poste den samme artikel på flere sider kunne så meget som fordoble antallet af brugere, der klikkede på den og genererede annonceindtægter.

Clickbait-farme rundt om i verden greb denne fejl som en strategi - en de stadig bruger i dag.

En gård vil oprette et websted eller flere websteder...

…for at udgive overvejende plagieret indhold.

Det registrerer dem med Øjeblikkelige varer og Publikumsnetværk ,

som indsætter annoncer i deres artikler.

Derefter sender den disse artikler på tværs af en klynge på så mange som snesevis af Facebook-sider ad gangen.

Clickbait-skuespillere dukkede op i Myanmar natten over. Med den rigtige opskrift på at producere engagerende og stemningsfuldt indhold kunne de generere tusindvis af amerikanske dollars om måneden i annonceindtægter eller 10 gange den gennemsnitlige månedlige løn – betalt til dem direkte af Facebook.

Først et internt firmadokument rapporteret af MIT Technology Review i oktober , viser, at Facebook var opmærksom på problemet allerede i 2019. Forfatteren, tidligere Facebook-dataforsker Jeff Allen, fandt ud af, at netop denne taktik havde gjort det muligt for clickbait-farme i Makedonien og Kosovo at nå ud til næsten en halv million amerikanere om året før valget i 2020 . Gårdene havde også fundet vej til Instant Articles and Ad Breaks, et lignende indtægtsgenereringsprogram til at indsætte annoncer i Facebook-videoer. På et tidspunkt brugte så mange som 60 % af domænerne, der var tilmeldt Instant Articles, den spammy-skrivetaktik, der blev brugt af clickbait-farme, hedder det i rapporten. Allen, der er bundet af en fortrolighedserklæring med Facebook, kommenterede ikke rapporten.

På trods af pres fra både interne og eksterne forskere, kæmpede Facebook for at dæmme op for misbruget. I mellemtiden udrullede virksomheden flere indtægtsgenereringsprogrammer for at åbne op for nye indtægtsstrømme. Udover Ad Breaks til videoer var der IGTV Monetization for Instagram og In-Stream Ads for Live-videoer. Det hensynsløse skub for brugervækst, vi så - nu ser vi et hensynsløst skub for udgivervækst, siger Victoire Rio, en digitale rettighedsforsker, der bekæmper platform-inducerede skader i Myanmar og andre lande i det globale syd.

MIT Technology Review har fundet ud af, at problemet nu sker på globalt plan. Tusindvis af clickbait-operationer er opstået, primært i lande, hvor Facebooks udbetalinger giver en større og mere stabil indtægtskilde end andre former for tilgængeligt arbejde. Nogle er teams af mennesker, mens andre er individer, støttet af billige automatiserede værktøjer, der hjælper dem med at skabe og distribuere artikler i masseskala. De er heller ikke længere begrænset til at udgive artikler. De skubber live-videoer ud og driver Instagram-konti, som de tjener direkte på eller bruger til at drive mere trafik til deres websteder.

Google er også skyldig. Dets AdSense-program gav næring til de Makedonien- og Kosovo-baserede gårde, der var rettet mod amerikanske publikummer i optakten til præsidentvalget i 2016. Og det er AdSense, der tilskynder nye clickbait-aktører på YouTube til at poste uhyrligt indhold og viral misinformation.

Mange clickbait-farme tjener nu penge med både Instant Articles og AdSense og modtager udbetalinger fra begge virksomheder. Og fordi Facebooks og YouTubes algoritmer booste det, der engagerer brugerne , har de skabt et informationsøkosystem, hvor indhold, der går viralt på den ene platform, ofte vil blive genbrugt på den anden for at maksimere distribution og omsætning.

Disse skuespillere ville ikke eksistere, hvis det ikke var for platformene, siger Rio.

Relateret historie

Troldefarme nåede 140 millioner amerikanere om måneden på Facebook før valget i 2020, viser intern rapport

Dette er ikke normalt. Dette er ikke sundt.

Som svar på de detaljerede beviser, vi leverede til hver virksomhed om denne adfærd, bestridte Meta-talsmand Joe Osborne vores kerneresultater og sagde, at vi havde misforstået problemet. Uanset hvad har vi investeret i at bygge nye ekspertdrevne og skalerbare løsninger på disse komplekse problemer i mange år, og vi vil fortsætte med det, sagde han.

Google bekræftede, at adfærden overtrådte dets politikker og afsluttede alle de YouTube-kanaler, MIT Technology Review identificerede som spreder misinformation. Vi arbejder hårdt på at beskytte seerne mod clickbait eller vildledende indhold på tværs af vores platforme og har investeret kraftigt i systemer, der er designet til at løfte autoritative oplysninger, sagde YouTube-talsmand Ivy Choi.

Clickbait-farme retter sig ikke kun mod deres hjemlande. Efter eksemplet fra aktører fra Makedonien og Kosovo har de nyeste operatører indset, at de hverken behøver at forstå et lands lokale kontekst eller dets sprog for at vende politisk forargelse til indtægt.

MIT Technology Review samarbejdede med Allen, som nu leder en nonprofitorganisation kaldet Integritetsinstituttet der udfører forskning i platformsmisbrug for at identificere mulige clickbait-aktører på Facebook. Vi fokuserede på sider, der løb tør for Cambodja og Vietnam – to af de lande, hvor clickbait-operationer nu indkasserer situationen i Myanmar.

Vi indhentede data fra CrowdTangle, hvis udviklingsteam virksomheden gik i opløsning tidligere på året , og fra Facebooks udgiverlister , som registrerer, hvilke udgivere der er registreret i indtægtsgenereringsprogrammer. Allen skrev en tilpasset klyngealgoritme til at finde sider, der poster indhold på en meget koordineret måde og målrettede talere af sprog, der primært bruges uden for de lande, hvor operationerne er baseret. Derefter analyserede vi, hvilke klynger der havde mindst én side registreret i et indtægtsgenereringsprogram eller i høj grad promoverede indhold fra en side, der var registreret i et program.

Vi fandt over 2.000 sider i begge lande, der var involveret i denne clickbait-lignende adfærd. (Det kan være et undertal, fordi ikke alle Facebook-sider spores af CrowdTangle.) Mange har millioner af følgere og når sandsynligvis ud til endnu flere brugere. I sin rapport fra 2019 fandt Allen det 75 % af brugerne som blev udsat for clickbait-indhold fra farme drevet i Makedonien og Kosovo, havde aldrig fulgt nogen af ​​siderne. Facebooks indholdsanbefalingssystem havde i stedet skubbet det ind i deres nyhedsfeeds.

Da MIT Technology Review sendte Facebook en liste over disse sider og en detaljeret forklaring af vores metode, kaldte Osborne analysen for fejlbehæftet. Mens nogle sider her muligvis har været på vores udgiverlister, tjente mange af dem faktisk ikke penge på Facebook, sagde han.

Disse tal indikerer faktisk ikke, at alle disse sider genererede annonceindtægter. I stedet er det et estimat, baseret på data Facebook har gjort offentligt tilgængelige, af antallet af sider forbundet med clickbait-aktører i Cambodja og Vietnam, som Facebook har gjort berettiget til at tjene penge på platformen.

Osborne bekræftede også, at flere af de Cambodja-drevne clickbait-lignende sider, vi fandt, var direkte registreret med et af Facebooks indtægtsgenereringsprogrammer, end vi tidligere troede. I vores analyse fandt vi, at 35 % af siderne i vores klynger havde gjort det i de sidste to år. De øvrige 65 % ville have indirekte genereret annonceindtægter ved kraftigt at promovere indhold fra den registrerede side til et bredere publikum. Osborne sagde, at faktisk ca halvt af de sider, vi fandt, eller omkring 150 sider mere, var direkte registreret på et tidspunkt med et indtægtsgenereringsprogram, primært Instant Articles.

Kort efter vi henvendte os til Facebook, begyndte operatører af clickbait-sider i Myanmar at klage i onlinefora over, at deres sider var blevet startet ud af Instant Articles. Osborne afviste at svare på vores spørgsmål om de seneste håndhævelsesforanstaltninger, som virksomheden har truffet.

Facebook har løbende søgt at luge disse aktører ud af sine programmer. For eksempel er det kun 30 af de Cambodja-drevne sider, der stadig tjener penge, sagde Osborne. Men vores data fra Facebooks udgiverlister viser, at håndhævelsen ofte er forsinket og ufuldstændig – clickbait-sider kan forblive inden for indtægtsgenereringsprogrammer i hundredvis af dage, før de bliver fjernet. De samme aktører vil også spinde nye sider op, når deres gamle er demonetiseret.

Allen er nu open-source koden vi plejede at opmuntre andre uafhængige forskere til at forfine og bygge videre på vores arbejde.

For at støtte MIT Technology Review's journalistik kan du overveje at blive abonnent .

Ved at bruge den samme metode fandt vi også mere end 400 udenlandsk drevne sider målrettet overvejende amerikanske målgrupper i klynger, som dukkede op på Facebooks udgiverlister i løbet af de sidste to år. (Vi inkluderede ikke sider fra lande, hvis primære sprog er engelsk.) Sættet inkluderer en indtægtsgivende klynge, delvist drevet af Makedonien, rettet mod kvinder og LGBTQ-samfundet. Den har otte Facebook-sider, herunder to bekræftede med henholdsvis over 1,7 millioner og 1,5 millioner følgere, og poster indhold fra fem websteder, der hver er registreret hos Google AdSense og Audience Network. Det har også tre Instagram-konti, som tjener penge gennem gavebutikker og samarbejder og ved at dirigere brugere til de samme stort set plagierede websteder. Admins af Facebook-sider og Instagram-konti reagerede ikke på vores anmodninger om kommentarer.

LGBT News og Women's Rights News-siderne på Facebook poster identisk indhold fra fem af dets egne tilknyttede websteder, der tjener penge med Instant Articles og Google AdSense, såvel som fra andre nyhedsmedier, som det ser ud til at have betalt partnerskaber med.

Osborne sagde, at Facebook nu undersøger konti, efter at vi gjorde virksomheden opmærksom på dem. Choi sagde, at Google tidligere har fjernet AdSense-annoncer fra hundredvis af sider på disse websteder på grund af politikovertrædelser, men at webstederne selv stadig har lov til at tjene penge baseret på virksomhedens regelmæssige anmeldelser.

Selvom det er muligt, at makedonerne, der driver siderne, virkelig bekymrer sig om amerikansk politik og om kvinders og LGBTQ-rettigheder, genererer indholdet unægtelig indtægter. Det betyder, at det, de promoverer, højst sandsynligt er styret af, hvad der vinder og taber med Facebooks nyhedsfeedalgoritme.

Aktiviteten på en enkelt side eller klynge af sider føles måske ikke væsentlig, siger Camille François, en forsker ved Columbia University, der studerer organiserede desinformationskampagner på sociale medier. Men når hundreder eller tusinder af skuespillere gør det samme, forstærker det samme indhold og når millioner af publikummer, kan det påvirke den offentlige samtale. Det, folk ser som den hjemlige samtale om et emne, kan faktisk være noget helt andet, siger François. Det er en flok betalte mennesker, der foregiver, at de ikke har noget forhold til hinanden, og optimerer, hvad de skal poste.

Osborne sagde, at Facebook har oprettet adskillige nye politikker og håndhævelsesprotokoller i de sidste to år for at løse dette problem, herunder at straffe sider, der løber ud af et land, der opfører sig, som om de er lokale for et andet, samt at straffe sider, der bygger et publikum på baseret på et emne og derefter pivot til et andet. Men både Allen og Rio siger, at virksomhedens handlinger ikke har formået at lukke grundlæggende smuthuller i platformens politikker og design - sårbarheder, der giver næring til en global informationskrise.

Det påvirker først og fremmest lande uden for USA, men udgør også en massiv risiko for USA på lang sigt, siger Rio. Det kommer til at påvirke stort set overalt i verden, når der er forhøjede begivenheder som et valg.

Desinformation til leje

Som svar på MIT Technology Reviews indledende rapportering om Allens 2019 interne rapport, som vi udgivet i sin helhed , David Agranovich, direktør for global trusselsforstyrrelse hos Facebook, tweeted , De sider, der refereres til her, baseret på vores egen forskning fra 2019, er økonomisk motiverede spammere, ikke åbenlyse indflydelsesoperationer. Begge disse er alvorlige udfordringer, men de er forskellige. At sammenblande dem hjælper ikke nogen. Osborne gentog, at vi sammenblandede de to grupper som svar på vores resultater.

Men desinformationseksperter siger, at det er misvisende at trække en hård linje mellem økonomisk motiverede spammere og politiske indflydelsesoperationer.

Der er en forskel i hensigten: økonomisk motiverede spammere er agnostiske over for det indhold, de udgiver. De går, hvor end klikkene og pengene er, og lader Facebooks nyhedsfeedalgoritme diktere, hvilke emner de vil dække næste gang. Politiske operationer er i stedet rettet mod at skubbe en bestemt dagsorden.

Men i praksis det er lige meget : i deres taktik og gennemslagskraft ser de ofte ens ud. På en gennemsnitlig dag kan et økonomisk motiveret clickbait-websted være fyldt med berømthedsnyheder, søde dyr eller meget følelsesladede historier – alle pålidelige drivere for trafik. Så, når politisk uro rammer, driver de mod hyperpartiske nyheder, misinformation og forargelse, fordi det får mere engagement.

Den makedonske sideklynge er et godt eksempel. Det meste af tiden fremmer indholdet kvinders og LGTBQ-rettigheder. Men omkring tidspunktet for begivenheder som valget i 2020, opstanden den 6. januar og vedtagelsen af ​​Texas' lov om antiabort-hjerteslag, forstærkede klyngen et særligt spidst politisk indhold. Mange af dens artikler er blevet bredt cirkuleret af legitime sider med enormt tilhængere, inklusive dem, der drives af Occupy Democrats, Union of Concerned Scientists og Women's March Global.

Et eksempel på en meget politisk artikel, der i sidste ende blev slettet fra en af ​​klyngens fem tilknyttede sider. Clickbait-websteder skrubber ofte gamle artikler fra deres sider.

Politiske indflydelsesoperationer kan i mellemtiden poste berømtheds- og dyreindhold for at opbygge Facebook-sider med store følgere. De drejer også om til politik under følsomme politiske begivenheder og udnytter det enorme publikum, der allerede er til deres rådighed.

Politiske operatører vil nogle gange også betale økonomisk motiverede spammere for at udsende propaganda på deres Facebook-sider eller købe sider for at genbruge dem til indflydelseskampagner. Rio har allerede set beviser for et sort marked, hvor clickbait-skuespillere kan sælge deres store Facebook-publikum.

Med andre ord ser sider uskadelige ud, indtil de ikke gør det. Vi har bemyndiget uægte skuespillere til at akkumulere enorme følgere til stort set ukendte formål, skrev Allen i rapporten.

Dette skift er sket mange gange i Myanmar siden fremkomsten af ​​clickbait-farme, især under Rohingya-krisen og igen i optakten til og efterdønningerne af dette års militærkup. (Sidstnævnte blev fremkaldt af begivenheder meget som dem, der førte til USA's opstand den 6. januar, inklusive udbredte falske påstande om et stjålet valg .)

I oktober 2020 fjernede Facebook en række sider og grupper, der var involveret i koordineret clickbait-adfærd i Myanmar. I en analyse af disse aktiver fandt Graphika, et analysefirma, der studerer spredningen af ​​information online, ud af, at siderne overvejende fokuserede på berømthedsnyheder og sladder, men skubbede politisk propaganda, farlig anti-muslimsk retorik og covid-19 misinformation ud i vigtige kriseøjeblikke. . Dusinvis af sider havde mere end 1 million følgere hver, hvoraf den største nåede over 5 millioner.

Det samme fænomen udspillede sig i Filippinerne i optakten til præsident Rodrigo Dutertes valg i 2016. Duterte er blevet sammenlignet med Donald Trump for hans populistiske politik, bombastiske retorik og autoritære holdninger. Under hans kampagne skiftede en clickbait-farm, formelt registreret som virksomheden Twinmark Media, fra at dække berømtheder og underholdning til at promovere ham og hans ideologi.

Dengang var det en udbredt opfattelse, at politikere havde hyret Twinmark til at føre en indflydelseskampagne. Men i interviews med journalister og forskere , indrømmede tidligere Twinmark-ansatte, at de simpelthen jagtede profit. Gennem eksperimenter opdagede medarbejderne, at pro-Duterte-indhold udmærkede sig under et ophedet valg. De betalte endda andre berømtheder og influencers for at dele deres artikler for at få flere klik og generere flere annonceindtægter, ifølge forskning fra medie- og kommunikationsforskerne Jonathan Ong og Jason Vincent A. Cabañes.

I de sidste måneder af kampagnen dominerede Duterte den politiske diskurs på sociale medier. Facebook kaldte ham selv for ubestridt konge af Facebook-samtaler da det fandt ud af, at han var genstand for 68 % af alle valgrelaterede diskussioner , sammenlignet med 46 % for hans næstnærmeste rival.

Tre måneder efter valget, Maria Ressa, administrerende direktør for medievirksomheden Rappler, som vandt Nobels Fredspris i år for sit arbejde med at bekæmpe desinformation, udgivet et stykke beskriver, hvordan en koncert med koordineret clickbait og propaganda på Facebook ændrede offentlighedens mening om nøglespørgsmål.

Det er en strategi med 'død med tusinde nedskæringer' - en afhugning af fakta ved at bruge halve sandheder, der fremstiller en alternativ virkelighed ved at fusionere magten fra bots og falske konti på sociale medier for at manipulere rigtige mennesker, skrev hun.

I 2019, Facebook tog endelig ned 220 Facebook-sider, 73 Facebook-konti og 29 Instagram-konti knyttet til Twinmark Media. På det tidspunkt havde Facebook og Google allerede betalt gården så meget som $8 millioner ( 400 millioner filippinske pesos ).

Hverken Facebook eller Google bekræftede dette beløb. Metas Osborne anfægtede karakteristikken af, at Facebook havde påvirket valget.

En trussel i udvikling

Facebook gjorde en stor indsats for at luge clickbait-farme ud af Instant Articles og Ad Breaks i første halvdel af 2019, ifølge Allens interne rapport. Specifikt begyndte det at tjekke udgivere for indholds originalitet og demonetisere dem, der postede stort set uoriginalt indhold.

Men disse automatiserede kontroller er begrænsede. De fokuserer primært på at vurdere originaliteten af ​​videoer, og ikke for eksempel på, om en artikel er blevet plagieret. Selv hvis de gjorde det, ville sådanne systemer kun være så gode som virksomhedens evner til kunstig intelligens på et givet sprog. Lande med sprog, der ikke er prioriteret af AI-forskningssamfundet, får langt mindre opmærksomhed, hvis overhovedet nogen. I Etiopiens tilfælde er der 100 millioner mennesker og seks sprog. Facebook understøtter kun to af disse sprog til integritetssystemer, sagde Haugen under sit vidnesbyrd til Kongressen.

Rio siger, at der også er smuthuller i håndhævelsen. Overtrædere tages ud af programmet, men ikke fra platformen, og de kan appellere til at blive genindsat. Appellerne behandles af et separat hold fra det, der udfører håndhævelsen og udfører kun grundlæggende aktuel kontrol, før skuespilleren genindsættes. (Facebook svarede ikke på spørgsmål om, hvad disse kontroller rent faktisk leder efter.) Som følge heraf kan det tage få timer for en clickbait-operatør at tilslutte sig igen og igen efter fjernelse. På en eller anden måde taler alle holdene ikke sammen, siger hun.

Sådan befandt Rio sig i en tilstand af panik i marts i år. En måned efter at militæret havde arresteret den tidligere demokratiske leder Aung San Suu Kyi og overtaget kontrollen over regeringen, stødte demonstranter stadig voldsomt sammen med det nye regime. Militæret afskærede sporadisk adgangen til internettet og udsendelsesnetværk, og Rio var rædselsslagen for sine venners sikkerhed i landet.

Hun begyndte at lede efter dem i Facebook Live-videoer. Folk så virkelig aktivt de her videoer, fordi det er sådan, man holder styr på sine kære, siger hun. Hun var ikke bekymret over at se, at videoerne kom fra sider med troværdighedsproblemer; hun mente, at streamerne brugte falske sider for at beskytte deres anonymitet.

Så skete det umulige: hun så den samme live-video to gange. Hun huskede det, fordi det var rædselsfuldt: Hundredvis af børn, der så ud som 10 år, på linje med hænderne på hovedet, blev læsset i militærlastbiler.

Da hun gravede i det, opdagede hun, at videoerne slet ikke var live. Livevideoer er beregnet til at angive en udsendelse i realtid og inkludere vigtige metadata om tidspunktet og stedet for aktiviteten. Disse videoer var blevet downloadet andre steder fra og genudsendt på Facebook ved hjælp af tredjepartsværktøjer for at få dem til at ligne livestreams.

Relateret historie

Hun risikerede alt for at afsløre Facebook. Nu fortæller hun sin historie.

Sophie Zhang, en tidligere dataforsker hos Facebook, afslørede, at det muliggør global politisk manipulation og har ikke gjort meget for at stoppe det.

Der var hundredvis af dem, som samlede titusindvis af engagementer og hundredtusindvis af visninger. Fra begyndelsen af ​​november fandt MIT Technology Review snesevis af duplikerede falske Live-videoer fra denne tidsramme stadig. Et dubletpar med henholdsvis over 200.000 og 160.000 visninger udråbt på burmesisk, jeg er den eneste, der sender live fra hele landet i realtid. Facebook fjernede flere af dem, efter at vi gjorde dem opmærksom på dem, men dusinvis flere, såvel som de sider, der postede dem, er stadig tilbage. Osborne sagde, at virksomheden er opmærksom på problemet og har reduceret disse falske liv og deres distribution betydeligt i løbet af det seneste år.

Ironisk nok, mener Rio, er videoerne sandsynligvis blevet flået fra optagelser af krisen, der er uploadet til YouTube som bevis for menneskerettigheder. Scenerne er med andre ord faktisk fra Myanmar - men de blev alle sendt fra Vietnam og Cambodja.

I løbet af det sidste halve år har Rio sporet og identificeret adskillige sideklynger, der er løbet tør for Vietnam og Cambodja. Mange brugte falske live-videoer til hurtigt at opbygge deres følgertal og få seere til at tilslutte sig Facebook-grupper forklædt som pro-demokratiske fællesskaber. Rio bekymrer sig nu om, at Facebooks seneste udrulning af in-stream-annoncer i live-videoer yderligere vil tilskynde clickbait-aktører til at forfalske dem. En cambodjansk klynge med 18 sider begyndte at sende meget skadelig politisk misinformation og nåede i alt 16 millioner engagementer og et publikum på 1,6 millioner på fire måneder. Facebook tog alle 18 sider ned i marts, men nye klynger fortsætter med at dukke op, mens andre forbliver.

For alt Rio ved, taler disse vietnamesiske og cambodjanske skuespillere ikke burmesisk. De forstår sandsynligvis ikke burmesisk kultur eller landets politik. Den nederste linje er, at de ikke behøver det. Ikke når de stjæler deres indhold.

Rio har siden fundet flere af cambodjanernes private Facebook- og Telegram-grupper (en med op mod 3.000 personer), hvor de handler med værktøjer og tips om de bedste penge-strategier. MIT Technology Review gennemgik de dokumenter, billeder og videoer, hun samlede, og hyrede en Khmer-oversætter til at fortolke en vejledningsvideo, der leder seerne trin for trin gennem en clickbait-arbejdsgang.

Materialerne viser, hvordan de cambodjanske operatører indsamler forskning om det bedst ydende indhold i hvert land og plagierer dem til deres clickbait-websteder. En Google Drev-mappe, der deles i fællesskabet, har to dusin regneark med links til de mest populære Facebook-grupper i 20 lande, herunder USA, Storbritannien, Australien, Indien, Frankrig, Tyskland, Mexico og Brasilien.

Selvstudievideoen viser også, hvordan de finder de mest virale YouTube-videoer på forskellige sprog og bruger et automatiseret værktøj til at konvertere hver enkelt til en artikel til deres websted. Vi fandt f.eks. 29 YouTube-kanaler, der spredte politisk misinformation om den aktuelle politiske situation i Myanmar, som blev konverteret til clickbait-artikler og videredistribueret til nye målgrupper på Facebook.

En af YouTube-kanalerne, der spreder politisk misinformation i Myanmar. Google fjernede det i sidste ende.

Efter at vi gjorde opmærksom på kanalerne, opsagde YouTube dem alle for at overtræde dets retningslinjer for fællesskabet, inklusive syv, som det fastslog var en del af koordinerede påvirkningsoperationer knyttet til Myanmar. Choi bemærkede, at YouTube tidligere også var holdt op med at vise annoncer på næsten 2.000 videoer på tværs af disse kanaler. Vi fortsætter aktivt med at overvåge vores platforme for at forhindre dårlige aktører, der ønsker at misbruge vores netværk for profit, sagde hun.

Så er der andre værktøjer, inklusive et, der tillader forudindspillede videoer at fremstå som falske Facebook Live-videoer. En anden genererer tilfældigt profiloplysninger for amerikanske mænd , herunder billede, navn, fødselsdag, CPR-nummer, telefonnummer og adresse, så endnu et værktøj kan masseproducere falske Facebook-konti ved hjælp af nogle af disse oplysninger.

Det er nu så nemt at gøre, at mange cambodjanske skuespillere opererer solo. Rio kalder dem mikro-iværksættere. I det mest ekstreme scenarie har hun set personer administrere så mange som 11.000 Facebook-konti på egen hånd.

Succesfulde mikro-iværksættere træner også andre til at udføre dette arbejde i deres lokalsamfund. Det bliver værre, siger hun. 'Enhver Joe i verden kan påvirke dit informationsmiljø, uden du ved det.

Fortjeneste frem for sikkerhed

Under sit vidneudsagn i Senatet i oktober i år fremhævede Haugen de grundlæggende fejl ved Facebooks indholdsbaserede tilgang til platformsmisbrug. Den nuværende strategi, der fokuserer på, hvad der kan og ikke kan vises på platformen, kan kun være reaktiv og aldrig omfattende, sagde hun. Ikke alene kræver det, at Facebook opregner alle mulige former for misbrug, men det kræver også, at virksomheden er dygtig til at moderere på alle sprog. Facebook har fejlet på begge punkter - og de mest sårbare mennesker i verden har betalt den største pris, sagde hun.

Den største synder, sagde Haugen, er Facebooks ønske om at maksimere engagementet, hvilket har forvandlet dets algoritme og platformsdesign til et gigantisk bullhorn for hadefulde ytringer og misinformation. An MIT Technology Review undersøgelse fra tidligere i år, baseret på snesevis af interviews med Facebook-ledere, nuværende og tidligere ansatte, branchekammerater og eksterne eksperter, bekræfter denne karakteristik.

Hendes vidnesbyrd gentog også, hvad Allen skrev i sin rapport - og hvad Rio og andre desinformationseksperter gentagne gange har set gennem deres forskning. For clickbait-farme er det første skridt at komme ind i indtægtsprogrammerne, men hvor meget de tjener, afhænger af, i hvor høj grad Facebooks indholdsanbefalingssystemer booster deres artikler. De ville ikke trives, og de ville heller ikke plagiere sådant skadeligt indhold, hvis deres lyssky taktik ikke gjorde det så godt på platformen.

Som følge heraf er det ikke løsningen at luge ud i selve gårdene: højt motiverede aktører vil altid være i stand til at oprette nye hjemmesider og nye sider for at få flere penge. I stedet er det algoritmerne og indholdsbelønningsmekanismerne, der skal adresseres.

I sin rapport foreslog Allen en mulig vej Facebook kunne gøre dette: ved at bruge det, der er kendt som et grafbaseret autoritetsmål til at rangere indhold. Dette ville forstærke sider af højere kvalitet som nyheder og medier og mindske sider af lavere kvalitet som clickbait, hvilket ville vende den nuværende tendens.

Haugen understregede, at Facebooks undladelse af at rette sin platform var ikke på grund af mangel på løsninger, værktøjer eller kapacitet. Facebook kan ændre sig, men vil tydeligvis ikke gøre det alene, sagde hun. Min frygt er, at uden handling er den splittende og ekstremistiske adfærd, vi ser i dag, kun begyndelsen. Det, vi så i Myanmar og nu ser i Etiopien, er kun de indledende kapitler i en historie, der er så skræmmende, at ingen ønsker at læse slutningen af ​​den.

(Osborne sagde, at Facebook har en fundamentalt anderledes tilgang til Myanmar i dag med større ekspertise i landets menneskerettighedsspørgsmål og et dedikeret team og teknologi til at opdage krænkende indhold, såsom hadefulde ytringer, på burmesisk.)

I oktober sagde den afgående FN's særlige udsending i Myanmar, at landet havde forværret til borgerkrig . Tusindvis af mennesker er siden flygtet til nabolande som Thailand og Indien. Fra midten af ​​november fortsatte clickbait-skuespillere med at sende falske nyheder hver time. I et indlæg var den demokratiske leder, Moder Suu, blevet myrdet. I en anden var hun endelig blevet befriet.

Særlig tak til vores team. Design og udvikling af Rachel Stein og Andre Vitorio. Kunstretning og produktion af Emily Luong og Stephanie Arnett. Redigering af Niall Firth og Mat Honan. Faktatjek af Matt Mahoney. Kopiredigering af Linda Lowenthal.

Rettelse: En tidligere version af artiklen sagde fejlagtigt, at efter at vi nåede ud til Facebook, begyndte clickbait-aktører i Cambodja at klage i onlinefora over at blive startet ud af Instant Articles. Skuespillerne var faktisk i Myanmar.