Troldefarme nåede 140 millioner amerikanere om måneden på Facebook før valget i 2020, viser intern rapport

MIT Technology Review | Envato elementer





Opdatering: Efter denne historie blev offentliggjort, fjernede Facebook to af de fem troldefarmsider, vi identificerede.

I optakten til valget i 2020, det mest omstridte i amerikansk historie, blev Facebooks mest populære sider for kristent og sort amerikansk indhold drevet af østeuropæiske troldefarme. Disse sider var en del af et større netværk, der tilsammen nåede ud til næsten halvdelen af ​​alle amerikanere, ifølge en intern virksomhedsrapport, og opnåede den rækkevidde ikke gennem brugervalg, men primært som et resultat af Facebooks eget platformdesign og engagementshungrende algoritme.

Hvordan Facebook blev afhængig af at sprede misinformation

Virksomhedens AI-algoritmer gav det en umættelig vane til løgne og hadefulde ytringer. Nu kan manden, der byggede dem, ikke løse problemet.



Rapporten, skrevet i oktober 2019 og indhentet af MIT Technology Review fra en tidligere Facebook-medarbejder, der ikke var involveret i at undersøge den, fandt ud af, at Facebook efter valget i 2016 undlod at prioritere grundlæggende ændringer i, hvordan dets platform promoverer og distribuerer information. Virksomheden fulgte i stedet en smækker-en-mole-strategi, der involverede overvågning og ophævelse af dårlige aktørers aktivitet, når de engagerede sig i politisk diskurs, og tilføjede nogle værn, der forhindrede det værste af det værste.

Men denne tilgang gjorde ikke meget for at dæmme op for det underliggende problem, bemærkede rapporten. Troldefarme – professionelle grupper, der arbejder koordineret med at poste provokerende indhold, ofte propaganda, til sociale netværk – opbyggede stadig et massivt publikum ved at drive netværk af Facebook-sider. Deres indhold nåede ud til 140 millioner amerikanske brugere om måneden - hvoraf 75% aldrig havde fulgt nogen af ​​siderne. De så indholdet, fordi Facebooks indholdsanbefalingssystem havde skubbet det ind i deres nyhedsfeeds.

I stedet for at brugerne vælger at modtage indhold fra disse aktører, er det vores platform, der vælger at give [disse troldefarme] en enorm rækkevidde, skrev rapportens forfatter, Jeff Allen, en tidligere dataforsker på seniorniveau hos Facebook.



Joe Osborne, en Facebook-talsmand, sagde i en erklæring, at virksomheden allerede havde undersøgt disse emner på tidspunktet for Allens rapport, og tilføjede: Siden da har vi rejst teams, udviklet nye politikker og samarbejdet med branchefæller for at tage fat på disse netværk. Vi har truffet aggressive håndhævelsesforanstaltninger mod denne form for udenlandske og indenlandske uægte grupper og har delt resultaterne offentligt på kvartalsbasis.

I færd med at faktatjekke denne historie kort før offentliggørelsen fandt MIT Technology Review ud af, at fem af troldefarmsiderne nævnt i rapporten forblev aktive.

Dette er den største troldefarmside målrettet mod afroamerikanere i oktober 2019. Den er stadig aktiv på Facebook.



Rapporten fandt, at troldefarme nåede ud til de samme demografiske grupper, som det Kreml-støttede Internet Research Agency (IRA) havde udpeget under valget i 2016, som havde målrettet kristne, sorte amerikanere og indfødte amerikanere. A 2018 BuzzFeed News undersøgelse fandt ud af, at mindst et medlem af den russiske IRA, tiltalt for påstået indblanding i det amerikanske valg i 2016, også havde besøgt Makedonien omkring fremkomsten af ​​dets første troldefarme, selvom det ikke fandt konkrete beviser for en sammenhæng. (Facebook sagde, at dets undersøgelser heller ikke havde vist en forbindelse mellem IRA og makedonske troldefarme.)

Dette er ikke normalt. Det her er ikke sundt, skrev Allen. Vi har bemyndiget uægte aktører til at akkumulere enorme følgere til stort set ukendte formål ... Det faktum, at aktører med mulige forbindelser til IRA har adgang til enorme publikumstal i de samme demografiske grupper, som IRA er målrettet mod, udgør en enorm risiko for valget i USA i 2020 .

Så længe troldefarme havde succes med at bruge disse taktikker, kunne enhver anden dårlig skuespiller også, fortsatte han: Hvis troldefarmene når ud til 30 millioner amerikanske brugere med indhold målrettet afroamerikanere, burde vi slet ikke blive overrasket, hvis vi opdager IRA har også i øjeblikket et stort publikum der.



Allen skrev rapporten som den fjerde og sidste del af en halvandet år lang indsats for at forstå troldefarme. Han forlod virksomheden samme måned, delvist på grund af frustration over, at ledelsen reelt havde ignoreret hans forskning, ifølge den tidligere Facebook-medarbejder, der leverede rapporten. Allen afviste at kommentere.

Rapporten afslører den alarmerende situation, hvor Facebooks ledelse forlod platformen i årevis, trods gentagne offentlige løfter om aggressivt at tackle udenlandsk-baseret valgindblanding. MIT Technology Review gør hele rapporten tilgængelig, med medarbejdernavne redigeret, fordi det er i offentlighedens interesse.

Dens afsløringer omfatter:

  • Fra oktober 2019 blev omkring 15.000 Facebook-sider med et flertal af amerikansk publikum kørt ud af Kosovo og Makedonien, kendte dårlige skuespillere under valget i 2016.
  • Samlet nåede disse troldefarmsider - som rapporten behandler som en enkelt side til sammenligningsformål - 140 millioner amerikanske brugere hver måned og 360 millioner globale brugere ugentligt. Walmarts side nåede det næststørste amerikanske publikum med 100 mio.
  • Troldefarmsiderne blev også kombineret til at danne:
    • den største kristne amerikanske side på Facebook, 20 gange større end den næststørste – og når ud til 75 millioner amerikanske brugere hver måned, hvoraf 95 % aldrig havde fulgt nogen af ​​siderne.
    • den største afroamerikanske side på Facebook, tre gange større end den næststørste – og når ud til 30 millioner amerikanske brugere hver måned, hvoraf 85% aldrig havde fulgt nogen af ​​siderne.
    • den næststørste indianske side på Facebook, der nåede 400.000 brugere hver måned, hvoraf 90% aldrig havde fulgt nogen af ​​siderne.
    • den femtestørste kvindeside på Facebook, der nåede 60 millioner amerikanske brugere hver måned, hvoraf 90% aldrig havde fulgt nogen af ​​siderne.
  • Troldefarme påvirker primært USA, men er også rettet mod Storbritannien, Australien, Indien og mellem- og sydamerikanske lande.
  • Facebook har udført flere undersøgelser, der bekræfter, at indhold, der er mere tilbøjeligt til at modtage brugerengagement (synes godt om, kommentarer og delinger), er mere sandsynligt af en type, der vides at være dårlig. Alligevel har virksomheden fortsat med at rangere indhold i brugernes nyhedsfeeds efter, hvad der vil modtage det højeste engagement.
  • Facebook forbyder sider at poste indhold, der blot er kopieret og indsat fra andre dele af platformen, men håndhæver ikke politikken over for kendte dårlige skuespillere. Dette gør det nemt for udenlandske skuespillere, der ikke taler det lokale sprog, at poste fuldstændigt kopieret indhold og stadig nå ud til et massivt publikum. På et tidspunkt gik så mange som 40 % af sidevisningerne på amerikanske sider til sider med primært uoriginalt indhold eller materiale med begrænset originalitet.
  • Troldefarme har tidligere fundet vej til Facebooks Instant Articles og Ad Breaks partnerskabsprogrammer, som er designet til at hjælpe nyhedsorganisationer og andre udgivere med at tjene penge på deres artikler og videoer. På et tidspunkt, takket være manglen på grundlæggende kvalitetstjek, gik så mange som 60 % af læsninger af Instant Article til indhold, der var blevet plagieret fra andre steder. Dette gjorde det nemt for troldefarme at blande sig ubemærket ind og endda modtage betalinger fra Facebook.

Hvordan Facebook muliggør troldefarme og udvider deres publikum

Rapporten ser specifikt på troldefarme baseret i Kosovo og Makedonien, som drives af folk, der ikke nødvendigvis forstår amerikansk politik. Men på grund af den måde, Facebooks nyhedsfeed-belønningssystemer er designet på, kan de stadig have en betydelig indflydelse på den politiske diskurs.

Hun risikerede alt for at afsløre Facebook. Nu fortæller hun sin historie.

Sophie Zhang, en tidligere dataforsker hos Facebook, afslørede, at det muliggør global politisk manipulation og har ikke gjort meget for at stoppe det.

I rapporten identificerer Allen tre grunde til, at disse sider er i stand til at få så store målgrupper. For det første straffer Facebook ikke sider for at poste fuldstændig uoriginalt indhold. Hvis noget tidligere er gået viralt, vil det sandsynligvis gå viralt igen, når det postes en anden gang. Dette gør det virkelig nemt for enhver at opbygge en massiv tilhængerskare blandt for eksempel sorte amerikanere. Dårlige skuespillere kan simpelthen kopiere viralt indhold fra sorte amerikaneres sider, eller endda Reddit og Twitter, og indsætte det på deres egen side - eller nogle gange snesevis af sider.

For det andet skubber Facebook engagerende indhold på sider til folk, der ikke følger dem. Når brugeres venner kommenterer eller videredeler opslag på en af ​​disse sider, vil disse brugere også se det i deres nyhedsfeeds. Jo mere en sides indhold kommenteres eller deles, jo mere bevæger den sig ud over sine følgere. Det betyder, at troldefarme, hvis strategi fokuserer på at genposte det mest engagerende indhold, har en stor evne til at nå ud til nye målgrupper.

For det tredje skubber Facebooks rangeringssystem mere engagerende indhold højere op i brugernes nyhedsfeeds. For det meste har de mennesker, der driver troldefarme, økonomiske snarere end politiske motiver; de poster det, der får mest engagement, med ringe hensyntagen til det faktiske indhold. Men fordi misinformation, clickbait og politisk splittende indhold er mere tilbøjelige til at modtage højt engagement (som Facebooks egne interne analyser anerkender), tynger troldefarme til at poste mere af det over tid, siger rapporten.

Som et resultat heraf blev alle 15 topsider rettet mod kristne amerikanere, 10 af top 15 Facebook-sider rettet mod sorte amerikanere og fire af top 12 Facebook-sider rettet mod indianere drevet af troldefarme i oktober 2019.

Vores platform har givet den største stemme i det kristne amerikanske samfund til en håndfuld dårlige skuespillere, som på baggrund af deres medieproduktionspraksis aldrig har været i kirken, skrev Allen. Vores platform har givet den største stemme i det afroamerikanske samfund til en håndfuld dårlige skuespillere, som på baggrund af deres medieproduktionspraksis aldrig har haft en interaktion med en afroamerikaner.

Anmeldelse: Hvorfor Facebook aldrig kan ordne sig selv

I An Ugly Truth afslører journalisterne Sheera Frenkel og Cecilia Kang Facebooks grundlæggende fejl gennem en detaljeret beretning om årene mellem to amerikanske valg.

Det vil altid slå mig som dybt underligt ... og virkelig rædselsfuldt, skrev han. Det virker helt klart, at indtil den situation kan rettes, vil vi altid føle alvorlig modvind i forsøget på at udføre vores mission.

Rapporten foreslog også en mulig løsning. Det er langt fra første gang, menneskeheden har bekæmpet dårlige aktører i vores medieøkosystemer, skrev han og pegede på Googles brug af det, der er kendt som et grafbaseret autoritetsmål - som vurderer kvaliteten af ​​en webside i forhold til, hvor ofte den citerer og er citeret af andre kvalitetswebsider - for at degradere dårlige aktører i deres søgerangeringer.

Vi har vores egen implementering af en grafbaseret myndighedsforanstaltning, fortsatte han. Hvis platformen tog mere hensyn til denne eksisterende metric i rangering af sider, kunne det hjælpe med at vende den foruroligende tendens, hvor sider når ud til det bredeste publikum.

Når Facebooks placeringer prioriterer engagement, slår troldefarmsider autentiske sider ud, skrev Allen. Men 90 % af Troll Farm Pages har præcis 0 Graph Authority … [Autentiske sider] vinder klart.

Systemiske problemer

En søgning på alle troldefarmsiderne i rapporten afslører, at fem stadig er aktive næsten to år senere:

  • En side kaldet My Baby Daddy Ain't Shit, som var den største Facebook-side målrettet afroamerikanere i oktober 2019.
  • En side kaldet Savage Hood, rettet mod afroamerikanere.
  • En side kaldet Hood Videos, målrettet afroamerikanere.
  • En side kaldet Purpose of Life, rettet mod kristne.
  • En side kaldet Eagle Spirit, rettet mod indianere.

En troldefarmside rettet mod kristne amerikanere.

Facebooks seneste kontroversielle Rapport for bredt set indhold tyder på, at nogle af de centrale sårbarheder, som troldefarmene udnyttede, også forbliver. Femten af ​​de 19 mest sete indlæg, der er anført i rapporten blev plagieret fra andre opslag, der tidligere var gået viralt på Facebook eller en anden platform, ifølge en analyse fra Casey Newton på The Verge.

Samantha Bradshaw, en postdoktor ved Stanford University, som studerer krydsfeltet mellem desinformation, sociale medier og demokrati, siger, at rapporten taler om mange af de dybere systemiske problemer med platformen og deres algoritme på den måde, som de fremmer visse former for indhold til bestemte brugere, alt sammen kun baseret på denne underliggende værdi af vækst. Hvis de ikke bliver rettet, vil de fortsætte med at skabe fordrejede, økonomiske incitamenter for dårlige skuespillere, tilføjer hun: Det er problemet.

Læs hele rapporten her:

skjule