I Was There When: Facebook satte overskud over sikkerhed

Sidste måned var den primære kilde til Wall Street Journals Facebook-filer , afslørede hendes identitet i en episode af 60 minutter . Frances Haugen, en tidligere produktchef i virksomheden, siger, at hun stod frem, efter at hun så Facebooks ledelse gentagne gange prioritere profit frem for sikkerhed. Hun dukkede derefter op for lovgivere i USA og Storbritannien for at tale om, hvad hun havde lært i løbet af sin tid i firmaet.

Men Haugen var ikke den første Facebook-whistleblower, der slog alarm over firmaets manglende evne – eller manglende vilje – til at håndtere alvorlige problemer forårsaget af platformens algoritmer. I 2020 lærte vi om Sophie Zhang, der officielt var blevet ansat som dataforsker på lavt niveau i virksomheden. Da hun stoppede, afslørede hendes blockbuster, 8.000 ord exit-memo-memo, at hun havde identificeret snesevis af lande, inklusive Indien, Mexico, Afghanistan og Sydkorea, hvor falske konti og likes tillod politikere at vildlede offentligheden og få magt. Det afslørede også, hvor lidt virksomheden havde gjort for at afhjælpe problemet på trods af Zhangs gentagne bestræbelser på at bringe det til ledelsens opmærksomhed.

I det seneste afsnit af Jeg var der hvornår , et nyt oral history-projekt fra In Machines We Trust-podcasten, taler vi med Zhang om hendes indsats.

Credits:

Denne episode blev produceret af Jennifer Strong, Anthony Green og Emma Cillekens. Den er redigeret af Michael Reilly og Mat Honan. Det er blandet af Garret Lang, med lyddesign og musik af Jacob Gorski.

Fuld udskrift:

[TR ID]

SOT: Frances Haugen: Under min tid på Facebook indså jeg en ødelæggende sandhed. Næsten ingen uden for Facebook ved, hvad der sker inde på Facebook.

Jennifer: Frances Haugen er tidligere produktchef hos Facebook. Hun har indgivet klager til føderale retshåndhævere og hævder, at den sociale mediegigants ledelse gentagne gange har sat profit over sikkerhed.

SOT: Frances Haugen: Virksomheden skjuler med vilje vital information fra offentligheden, fra den amerikanske regering og fra regeringer rundt om i verden.

Jennifer: Hendes klager kom med et væld af dokumenter, som Haugen samlede, inden han stoppede... i et forsøg på at demonstrere, at virksomheden bevidst havde valgt ikke at løse problemerne på sin platform.

Blandt dem... at algoritmer som den bag dit Facebook-nyhedsfeed forstærker had, misinformation og politisk uro.

Og hun er ikke den eneste whistleblower, der beskylder virksomheden for at vende det blinde øje til desinformationskampagner på platformen.

Sophie Zhang arbejdede som Facebook-dataforsker... og indtil hun blev fyret, opslugte hun sig selv med at finde og fjerne falske konti, kommentarer og likes, der blev brugt til at påvirke valg globalt. Hendes blockbuster exit-memo var på 8.000 ord ... og det afslørede, hvor lidt Facebook havde gjort for at afhjælpe problemet.

Jeg er Jennifer Strong, og det er det Jeg var der hvornår .

Det er et mundtlig historieprojekt, der byder på historierne om, hvordan vandskeløjeblikke inden for kunstig intelligens og databehandling skete ... som fortalt af de mennesker, der så dem.

[Vis ID]

Sophie Zhang: Jeg er Sophie Zhang. Hos Facebook var jeg data scientist, og jeg arbejdede på engagement-teamet. Med falske mener jeg f.eks. falske konti, men også hackede konti. Og med engagement mener jeg likes, kommentarer, delinger osv. Men i min fritid, da jeg begyndte at se måneskin i området for at finde uægte politisk aktivitet. Ofte meget sofistikeret, uægte politisk aktivitet. Jeg kunne argumentere for, at dette også var falsk engagement, men det var ikke det, jeg forventedes at arbejde med.

Da jeg begyndte at se på skæringspunkterne mellem falsk engagement og borgerlig aktivitet, fandt jeg meget hurtigt resultater over hele verden. Jeg fandt resultater i, i Brasilien, i Indien, i Indonesien, i mange nationer, men også i Honduras, en del i Honduras faktisk i forhold til dets størrelse. Og jeg var ved at lave en rapport til ledelsen om problemet. Jeg havde til hensigt at tage et skærmbillede af siden af ​​den store modtager i Honduras, Juan Orlando Hernández, som efter at jeg havde slået ham op viste sig at være præsident for Honduras.

Jeg skulle ind på hans side for at tage et skærmbillede, da de pludselig stoppede, fordi jeg lagde mærke til noget meget usædvanligt, fordi de mennesker, der var, der likede hans side og kommenterede, mange af dem slet ikke var mennesker. Det var sider, der udgav sig for at være brugere. Og så bare for at træde tilbage her, hvad er sider? Hvad er brugere? Sider er en Facebook-funktion beregnet til offentlige personer, offentlige organisationer osv. Så for eksempel har MIT Tech Review en Facebook-side. MIT Tech Review er ikke en person. Siden er drevet af en anden på Facebook.

Og så hensigten med, hvordan Facebook-sider er, er, at de skal afspejle offentlige enheder, og en enkelt bruger kan kontrollere mange sider. Så for eksempel kan den samme administrator kontrollere CNN-siden såvel som CNN, Filippinerne og CNN Europe osv. Men der var intet, der forhindrede en bruger i at oprette hundredvis af sider, give dem navne og profilbilleder som rigtige mennesker og få dem til at fungere som rigtige mennesker. Faktisk var det nemmere for dem, fordi de ganske nemt kunne skifte mellem disse sider uden at skulle logge ind og af hver gang.

Ret hurtigt indså, at disse falske sider, der udgav sig for at være brugere, der var tusindvis af dem i Honduras. Og et par hundrede af dem blev personligt drevet af sideadministratoren for Honduras præsident. Dette var en person, der tydeligvis havde en betydelig tillid til den honduranske regering på sociale medier. Og de lagde ikke engang skjul på, at de brugte tusindvis af falske aktiver til at manipulere deres eget borgerskab.

Og så fra starten var jeg meget naiv. Jeg tænkte, at okay, jeg fandt det her. Disse mennesker var dumme. Vi fangede dem. Jeg vil overdrage dem til andre. De vil overtage det. Jeg kan skære tilbage til mit egentlige job, og alt vil være godt. Det var i stedet starten på en to-årig sisyfisk prøvelse, for det, der skete, da jeg rejste, var alle enige om, at det her var forfærdeligt. Det var ikke kontroversielt, at dette var dårligt. Alle var enige om, at det ikke skulle være tilladt, men spørgsmålet var, hvad vi gør ved det? Har vi evnen til at handle på det? Er det inden for vores politik at handle på det, osv. Fra starten talte jeg om det til alle, der syntes at forholde sig til det. Jeg talte om det til Pages Integrity, til Groups Integrity. Jeg talte om det med borgerlig integritetsteamet. Jeg forsøgte at få trusselsefterretninger interesseret. Til sidst talte jeg med alle, der ville lytte. Jeg talte med alle til og med vicepræsident Guy Rosen. Det var i bund og grund som at tale med vinden, som at prøve at tømme havet med et dørslag. Til sidst fandt jeg ud af, at den bedste måde at opnå resultater på ofte ikke var ved at prøve at gå gennem de rigtige kanaler, men ved at klage offentligt i virksomheden på Workplace, som i bund og grund er Facebook for kontoret, og lave Workplace-indlæg om den situation, som andre hos virksomheden kunne se. Og mange af dem var selvfølgelig kede af det, fordi det ikke var den slags virksomhed, de troede, de arbejdede for og ønskede at arbejde for. Jeg ved ikke, om det var på denne måde, af andre, men til sidst tog Facebook endelig ned driften af ​​den honduriske regering, hvilket var internationale nyheder.

Et par uger senere kom operationen tilbage med en anden metode. Da vi fik tak i Honduras, var jeg stadig naiv og idealistisk i starten. Jeg tænkte, okay, før dette sagde alle, at vi ikke havde en præcedens, vi vidste ikke, hvad vi skulle gøre, men nu har vi præcedensen. Nu kan vi sige, at vi har skabt denne præcedens for at gøre dette. Vi kan løse det på denne metode. Og så efter dette tænkte jeg, okay, jeg kan sende dem over alle de andre, jeg fandt. De ville tage sig af det. De tog sig ikke af det. Da jeg brugte de rigtige kanaler til at sende dem over, gik de i det væsentlige ind i en sort makuleringsmaskine, hvor de blev ignoreret.

I anden halvdel af 2019 rejste og markerede jeg omkring tre dusin flere netværk af uægte politiske aktiviteter fra Afghanistan til Albanien, fra Brasilien, til Bolivia, fra Indien til Indonesien. Og så det tog et stykke tid at finde ud af den rigtige måde at opnå resultater på og få folk til at reagere. Det kom an på, om de var bundet til politikere og fremtrædende personer, for hvis noget var bundet til en politisk figur, blev det meget sværere at tage det ned. Jeg vil give dig et nummer nu, hvor jeg ikke gik, da de så det første gang. Fordi Aserbajdsjan bestemt har mindre end 3% af verdens befolkning, meget mindre, skabte dets netværk måske en million kommentarer hver måned. Og dette udgjorde omkring 3 % af alle kommentarer fra sider på indlæg fra andre sider verden over, globalt, borgerligt eller ikke-borgerligt.

Men selv da jeg tog den aserbajdsjanske regering på fersk gerning, tog det mere end et år, før operationen blev fjernet. Da jeg fandt ud af, at den aserbajdsjanske regering havde oprettet et massivt betalingsanlæg af betalte operatører for at chikanere oppositionen i store mængder. Dette var meget tydeligt dårligt. Det var meget tydeligt knyttet til den aserbajdsjanske regering. Og det var massivt i omfang. Men da vi tog det ned, er jeg sikker på, at der et sted på Facebook var et hold, der var meget kede af, hvorfor tallene pludselig faldt uden grund, som de kunne finde ud af. mellem min opdagelse og nedtagningen havde Aserbajdsjan slået ned på oppositionen, arresteret uforbedrede oppositionsfigurer og startet en krig med Armenien.

Det blev mere og mere stressende at arbejde med spørgsmålet. Det er svært individuelt at se, hvilken indflydelse noget af dette havde, men det blev hurtigt klart, at det var knyttet til aktivitet i nationer, der havde det svært, fordi der skete så meget. Og det var mig, der personligt tog beslutninger om, hvad der var vigtigt. Det var i bund og grund helt op til mig, hvad jeg valgte at gå videre med, hvad jeg valgte at prioritere og forsøge at få opmærksomhed til. Og jeg valgte ikke at prioritere Bolivia, fordi det objektivt set var meget lille og ikke særlig smart. Langt efter valget var der masseprotester, der eskalerede til det, der alternativt er blevet kaldt et statskup eller en folkelig opstand, der resulterede i den bolivianske regerings fald. Jeg ved godt, at det ikke skulle have været mit personligt ansvar, men i sidste ende var der ingen andre, der trådte til. Og så valgte jeg at gøre det selv. Og fordi jeg havde sat mig selv i denne position, var det i bund og grund op til mig selv, hvad der var vigtigt nok at fokusere på, og jeg vil gerne være tydelig. Det var der altid andre, som var ansvarlige for at finpudse mine resultater og for rent faktisk at tage det ned til sidst.

Jeg besluttede fra starten, at jeg kun ville være anklager, i det væsentlige ville jeg gøre mit bedste for aldrig at være dommer, jury og bøddel, fordi jeg allerede havde for meget magt i mine hænder. Jeg tror ikke, at nogen burde være i stand til at afgøre, om Albanien er vigtigere end Aserbajdsjan eller sådanne spørgsmål. Fordi de også fandt i den bog med regnskaber, der var knyttet til at støtte medlemmer af den albanske regering. Men det, jeg fandt i Aserbajdsjan, var objektivt set værre med hensyn til størrelse og skala. Og så vidste jeg, at jeg kun havde den politiske kapital til meget langsomt at trænge igennem én ad gangen. Og derfor valgte jeg at fokusere på Aserbajdsjan. Det foregår stadig i Albanien. Albanien havde folketingsvalg tidligere i år, og det foregik stadig på det tidspunkt. Jeg mener, mere end to år efter jeg opdagede det, har Facebook stadig ikke gjort noget.

Og jeg kan kun undskylde dybt over for det albanske folk. Jeg skulle ikke have været i en position, hvor jeg skulle vælge, om Albanien eller Aserbajdsjan var vigtigere. Jeg står ved min beslutning, fordi det, de fandt i Aserbajdsjan, objektivt set var værre, men alligevel burde ingen enkelt person være ansvarlig for spørgsmål som dette. Der har været mange nyhedsrapporter om, hvordan Facebook er under-ressourcer på integritetsområdet. Jeg har ikke set nogen nyhedsrapporter, der klager over, at Facebook har for få ressourcer i annoncemarkedsføring. Og jeg synes, det siger meget om virksomhedens prioriteringer til sidst.

Det, jeg fandt mest vanskeligt, var i visse autoritære lande. Den demokratiske opposition dragede fordel af at anvende og smagfulde taktikker. Og jeg havde mest tænkt over de sager. Men jeg tog dem alligevel ned uden tøven, fordi jeg troede meget fast på, at min troskab var til ideerne om demokrati og retsstatsprincippet. Og at demokrati grundlæggende ikke kan stå på en løgnens bund. Som en medarbejder på meget lavt niveau i min egen fritid, uden nogen som helst overvågning, traf beslutninger personligt, som direkte påvirkede nationale regeringer.

Det er et svært spørgsmål at svare på, hvad jeg tror, ​​der skal ske, for en del af det er ligesom at spørge, om du kunne lave en hvilken som helst farve på himlen, hvilken farve vil du gerne have, at den skal have? Fordi det er et, det er et overvejende teoretisk spørgsmål, og dit svar vil ikke have nogen reel effekt på den virkelige verden.

Jeg kan ikke få Mark til at ændre mening længere, end de kan gøre himlen lyserød natten over. Det er op til de mennesker, der lytter til mig, til folk som dig selv, for jeg kan ikke ændre noget selv. Jeg har kun så meget magt, som andre giver mig. Hvis du ønsker, at tingene skal ændre sig, bør du personligt spørge dine repræsentanter, for i sidste ende er dette et problem, der ikke opleves af nogle få enkeltpersoner. Dette er det problem, hvor omkostningerne bæres af samfundet, af demokratiet, af den civile diskurs som helhed. Og som virksomhed har Facebook intet incitament til at rette op på dette længere, end vi forventede, at Philip Morris udviklede ikke-vanedannende cigaretter.

Jennifer: Jeg var der hvornår er et mundtlig historieprojekt, der byder på historier om mennesker, der har været vidne til eller skabt gennembrud inden for kunstig intelligens og computing.

Har du en historie at fortælle? Kender du en der gør? Send os en e-mail på podcasts på technology review dot com.

[MIDROLL]

[KREDITTER]

Jennifer: Denne episode blev produceret af mig med hjælp fra Anthony Green og Emma Cillekens. Vi er redigeret af Niall Firth og Mat Honan. Vores mix engineer er Garret Lang... og vores temamusik er af Jacob Gorski.

Tak fordi du lyttede, jeg er Jennifer Strong.

[TR ID]

skjule