211service.com
Facebook-whistlebloweren siger, at dens algoritmer er farlige. Her er hvorfor.
Facebook-whistlebloweren Frances Haugen vidner under en senatskomité den 5. oktober. Drew Angerer/Getty Images
Søndag aften var den primære kilde til Wall Street Journals Facebook-filer , en efterforskningsserie baseret på interne Facebook-dokumenter, afslørede hendes identitet i en episode af 60 minutter .
Frances Haugen, en tidligere produktchef i virksomheden, siger, at hun stod frem, efter at hun så Facebooks ledelse gentagne gange prioritere profit frem for sikkerhed.
Inden hun stoppede i maj i år, finkæmmede hun Facebook Workplace, virksomhedens interne medarbejders sociale medie-netværk, og samlede en lang række interne rapporter og forskning i et forsøg på endeligt at påvise, at Facebook bevidst havde valgt ikke at løse problemerne på sin platform.
I dag vidnede hun foran Senatet om Facebooks indflydelse på samfundet. Hun gentog mange af resultaterne fra den interne forskning og bad Kongressen om at handle.
Relateret historie
Hvordan Facebook blev afhængig af at sprede misinformation Virksomhedens AI-algoritmer gav det en umættelig vane til løgne og hadefulde ytringer. Nu kan manden, der byggede dem, ikke løse problemet.
Jeg er her i dag, fordi jeg mener, at Facebooks produkter skader børn, opildner splittelse og svækker vores demokrati, sagde hun i sin åbningserklæring til lovgiverne. Disse problemer er løselige. Et sikrere socialt medie, der respekterer ytringsfriheden, er mere underholdende. Men der er én ting, som jeg håber, alle tager væk fra disse afsløringer, det er, at Facebook kan ændre sig, men klart ikke kommer til at gøre det alene.
Under sit vidnesbyrd gav Haugen især Facebooks algoritme- og platformdesignbeslutninger skylden for mange af dets problemer. Dette er et bemærkelsesværdigt skift fra de politiske beslutningstageres eksisterende fokus på Facebooks indholdspolitik og censur - hvad der hører til og ikke hører til på Facebook. Mange eksperter mener, at denne snævre visning fører til en smækker-en-muldvarp-strategi, der går glip af det større billede.
Jeg er en stærk fortaler for ikke-indholdsbaserede løsninger, fordi de løsninger vil beskytte de mest sårbare mennesker i verden, sagde Haugen og pegede på Facebooks ujævne evne til at håndhæve sin indholdspolitik på andre sprog end engelsk.
Haugens vidneudsagn gentager mange af resultaterne fra en MIT Technology Review undersøgelse offentliggjort tidligere i år, som trak på snesevis af interviews med Facebook-ledere, nuværende og tidligere ansatte, branchekammerater og eksterne eksperter. Vi samlede de mest relevante dele af vores undersøgelse og anden rapportering sammen for at give Haugens vidnesbyrd mere kontekst.
Hvordan fungerer Facebooks algoritme?
I daglig tale bruger vi udtrykket Facebooks algoritme, som om der kun er én. Faktisk beslutter Facebook, hvordan man målretter annoncer og rangerer indhold baseret på hundredvis, måske tusindvis, af algoritmer. Nogle af disse algoritmer driller en brugers præferencer og booster den slags indhold op i brugerens nyhedsfeed. Andre er til at opdage specifikke typer dårligt indhold, såsom nøgenhed, spam eller clickbait-overskrifter, og slette eller skubbe dem ned i feedet.
Alle disse algoritmer er kendt som maskinlæringsalgoritmer. Som jeg skrev tidligere i år :
I modsætning til traditionelle algoritmer, som er hårdkodet af ingeniører, træner maskinlæringsalgoritmer på inputdata for at lære korrelationerne i dem. Den trænede algoritme, kendt som en maskinlæringsmodel, kan så automatisere fremtidige beslutninger. En algoritme, der er trænet i annonceklikdata, kan for eksempel lære, at kvinder oftere klikker på annoncer for yogaleggings end mænd. Den resulterende model vil så vise flere af disse annoncer til kvinder.
Og på grund af Facebooks enorme mængder brugerdata kan det
udvikle modeller, der lærte at udlede eksistensen af ikke kun brede kategorier som kvinder og mænd, men af meget finkornede kategorier som kvinder mellem 25 og 34, der kunne lide Facebook-sider relateret til yoga, og [målrette] annoncer til dem. Jo mere detaljeret målretningen er, jo større er chancen for et klik, hvilket ville give annoncører mere valuta for pengene.
De samme principper gælder for rangering af indhold i nyhedsfeed:
Ligesom algoritmer [kan] trænes til at forudsige, hvem der ville klikke på hvilken annonce, [kan] de også trænes til at forudsige, hvem der kunne lide eller dele hvilket opslag, og så give disse indlæg mere fremtrædende plads. Hvis modellen for eksempel bestemte, at en person virkelig kunne lide hunde, ville venners indlæg om hunde blive vist højere oppe på brugerens nyhedsfeed.
Før Facebook begyndte at bruge maskinlæringsalgoritmer, brugte teams designtaktikker til at øge engagementet. De ville eksperimentere med ting som farven på en knap eller hyppigheden af meddelelser for at få brugerne til at vende tilbage til platformen. Men maskinlæringsalgoritmer skaber en meget mere kraftfuld feedback-loop. Ikke alene kan de personliggøre, hvad hver bruger ser, de vil også fortsætte med at udvikle sig med en brugers skiftende præferencer, og til stadighed vise hver person, hvad der vil holde dem mest engageret.
Hvem kører Facebooks algoritme?
Inden for Facebook er der ikke ét hold, der har ansvaret for dette indholdsrangeringssystem i sin helhed. Ingeniører udvikler og tilføjer deres egne maskinlæringsmodeller til blandingen, baseret på deres teams mål. For eksempel vil teams, der fokuserer på at fjerne eller degradere dårligt indhold, kendt som integritetsteamene, kun træne modeller til at opdage forskellige typer dårligt indhold.
Dette var en beslutning, som Facebook tog tidligt som en del af sin hurtige bevægelse og bryde tingenes kultur. Det udviklede et internt værktøj kendt som FBLearner Flow der gjorde det nemt for ingeniører uden maskinlæringserfaring at udvikle de modeller, de havde brug for til deres rådighed. Ved et datapunkt var det allerede i brug af mere end en fjerdedel af Facebooks ingeniørteam i 2016.
Relateret historie
Hun risikerede alt for at afsløre Facebook. Nu fortæller hun sin historie. Sophie Zhang, en tidligere dataforsker hos Facebook, afslørede, at det muliggør global politisk manipulation og har ikke gjort meget for at stoppe det.
Mange af de nuværende og tidligere Facebook-medarbejdere, jeg har talt med, siger, at dette er en del af, hvorfor Facebook ikke ser ud til at få styr på, hvad det serverer brugerne i nyhedsstrømmen. Forskellige teams kan have konkurrerende mål, og systemet er blevet så komplekst og uhåndterligt, at ingen længere kan holde styr på alle dets forskellige komponenter.
Som et resultat heraf er virksomhedens hovedproces for kvalitetskontrol gennem eksperimentering og måling. Som jeg skrev:
Hold træner en ny maskinlæringsmodel på FBLearner, uanset om de skal ændre rækkefølgen af opslag eller for bedre at fange indhold, der overtræder Facebooks fællesskabsstandarder (dets regler for, hvad der er og ikke er tilladt på platformen). Derefter tester de den nye model på en lille undergruppe af Facebooks brugere for at måle, hvordan den ændrer engagementsmålinger, såsom antallet af likes, kommentarer og delinger, siger Krishna Gade, der fungerede som ingeniørchef for nyhedsfeed fra 2016 til 2018 .
Hvis en model reducerer engagementet for meget, kasseres den. Ellers bliver det implementeret og løbende overvåget. På Twitter, Gade forklaret at hans ingeniører ville få meddelelser med få dages mellemrum, når målinger såsom likes eller kommentarer var nede. Så ville de tyde, hvad der havde forårsaget problemet, og om nogen modeller havde brug for omskoling.
Hvordan har Facebooks indholdsrangering ført til spredning af misinformation og hadefulde ytringer?
Under sit vidneudsagn vendte Haugen gentagne gange tilbage til ideen om, at Facebooks algoritme tilskynder til misinformation, hadefulde ytringer og endda etnisk vold.
Facebook … ved – de har indrømmet offentligt – at engagementsbaseret rangering er farlig uden integritets- og sikkerhedssystemer, men har så ikke udrullet disse integritets- og sikkerhedssystemer på de fleste sprog i verden, sagde hun til Senatet i dag. Det trækker familier fra hinanden. Og i steder som Etiopien opildner det bogstaveligt talt til etnisk vold.
Her er hvad jeg tidligere har skrevet om dette:
De maskinlæringsmodeller, der maksimerer engagementet, favoriserer også kontroverser, misinformation og ekstremisme: enkelt sagt, folk kan bare lide uhyrlige ting.
Nogle gange opildner dette eksisterende politiske spændinger. Det mest ødelæggende eksempel til dato er tilfældet med Myanmar, hvor virale falske nyheder og hadefulde ytringer om det muslimske rohingya-mindretal eskalerede landets religiøse konflikt til et fuldstændigt folkedrab. Facebook indrømmede i 2018, efter mange års nedtoning af sin rolle, at det ikke havde gjort nok for at forhindre vores platform i at blive brugt til at opmuntre til splittelse og tilskynde til offline vold.
Som Haugen nævnte, har Facebook også vidst det i et stykke tid. Tidligere rapportering har fundet ud af, at det har studeret fænomenet siden mindst 2016.
I en intern præsentation fra det år, gennemgået af Wall Street Journal , fandt en virksomhedsforsker, Monica Lee, ud af, at Facebook ikke kun var vært for et stort antal ekstremistiske grupper, men også promoverede dem til sine brugere: 64 % af alle ekstremistiske gruppers tilslutning skyldes vores anbefalingsværktøjer, hedder det i præsentationen, overvejende takket være modellerne bag funktionerne Grupper, du bør deltage i, og Opdag.
I 2017 dannede Chris Cox, Facebooks mangeårige produktchef, en ny taskforce for at forstå, om maksimering af brugerengagement på Facebook bidrog til politisk polarisering. Den fandt ud af, at der faktisk var en sammenhæng, og at reduktion af polarisering ville betyde, at man blev ramt af engagement. I et dokument fra midten af 2018, der blev gennemgået af tidsskriftet, foreslog taskforcen adskillige potentielle rettelser, såsom at justere anbefalingsalgoritmerne for at foreslå et mere forskelligartet udvalg af grupper, som folk kunne tilslutte sig. Men den anerkendte, at nogle af ideerne var antivækst. De fleste af forslagene kom ikke videre, og taskforcen blev opløst.
I mine egne samtaler bekræftede Facebook-medarbejdere også disse resultater.
En tidligere Facebook AI-forsker, der sluttede sig til i 2018, siger, at han og hans team udførte undersøgelse efter undersøgelse, der bekræftede den samme grundlæggende idé: modeller, der maksimerer engagement, øger polarisering. De kunne nemt spore, hvor meget brugere var enige eller uenige i forskellige spørgsmål, hvilket indhold de kunne lide at engagere sig i, og hvordan deres holdninger ændrede sig som følge heraf. Uanset problemet, lærte modellerne at give brugerne mere og mere ekstreme synspunkter. Med tiden bliver de målbart mere polariserede, siger han.
Relateret historie
Kapløbet om at forstå sprogets AIs spændende, farlige verden Hundredvis af videnskabsmænd rundt om i verden arbejder sammen for at forstå en af de mest kraftfulde nye teknologier, før det er for sent.
I sit vidneudsagn understregede Haugen også gentagne gange, hvordan disse fænomener er langt værre i regioner, der ikke taler engelsk på grund af Facebooks ujævne dækning af forskellige sprog.
I Etiopiens tilfælde er der 100 millioner mennesker og seks sprog. Facebook understøtter kun to af disse sprog til integritetssystemer, sagde hun. Denne strategi med at fokusere på sprogspecifikke, indholdsspecifikke systemer til AI for at redde os er dømt til at mislykkes.
Hun fortsatte: Så at investere i ikke-indholdsbaserede måder at bremse platformen på beskytter ikke kun vores ytringsfrihed, det beskytter også folks liv.
Jeg udforsker dette mere i en anden artikel fra tidligere i år om begrænsningerne af store sprogmodeller , eller LLM'er:
På trods af at LLM'er har disse sproglige mangler, er Facebook stærkt afhængig af dem for at automatisere sin indholdsmoderering globalt. Da krigen i Tigray[, Etiopien] første gang brød ud i november, så [AI-etikforsker Timnit] Gebru platformen skrubbe for at få styr på mængden af misinformation. Dette er emblematisk for et vedvarende mønster, som forskere har observeret i indholdsmoderering. Fællesskaber, der taler sprog, der ikke er prioriteret af Silicon Valley, lider under de mest fjendtlige digitale miljøer.
Gebru bemærkede, at det heller ikke er her skaden ender. Når falske nyheder, hadefulde ytringer og endda dødstrusler ikke modereres, bliver de derefter skrabet som træningsdata for at bygge den næste generation af LLM'er. Og disse modeller, som efterlader det, de er trænet i, ender med at genoplive disse giftige sproglige mønstre på internettet.
Hvordan relaterer Facebooks indholdsrangering til teenagers mentale sundhed?
En af de mere chokerende afsløringer fra Journalens Facebook-filer var Instagrams interne undersøgelse, som fandt ud af, at dens platform forværrer mental sundhed blandt teenagepiger. 32 procent af teenagepigerne sagde, at når de havde det dårligt med deres krop, fik Instagram dem til at føle sig værre, skrev forskere i en diaspræsentation fra marts 2020.
Haugen forbinder også dette fænomen med engagementsbaserede rangordningssystemer, som hun fortalte Senatet i dag får teenagere til at blive udsat for mere anoreksiindhold.
Hvis Instagram er sådan en positiv kraft, har vi så set en guldalder for teenage mental sundhed i de sidste 10 år? Nej, vi har set eskalerende rater af selvmord og depression blandt teenagere, fortsatte hun. Der er en bred vifte af forskning, der understøtter ideen om, at brugen af sociale medier forstærker risikoen for disse mentale sundhedsskader.
I min egen rapportering hørte jeg fra en tidligere AI-forsker, som også så denne effekt udvide sig til Facebook.
Forskerholdet … fandt ud af, at brugere med en tendens til at poste eller engagere sig i melankolsk indhold – et muligt tegn på depression – nemt kunne spiral ind i at forbruge mere og mere negativt materiale, der risikerede at forværre deres mentale sundhed yderligere.
Men som med Haugen fandt forskeren ud af, at ledelse ikke var interesseret i at foretage grundlæggende algoritmiske ændringer.
Holdet foreslog at tilpasse indholdsrangeringsmodellerne for disse brugere for at stoppe med at maksimere engagement alene, så de ville blive vist mindre af de deprimerende ting. Spørgsmålet til ledelse var: Skal vi optimere for engagement, hvis du opdager, at nogen er i en sårbar sindstilstand? husker han.
Men alt, der reducerede engagementet, selv af årsager som ikke at forværre nogens depression, førte til en masse hæmning og skænderi blandt ledere. Med deres præstationsvurderinger og lønninger knyttet til en vellykket gennemførelse af projekter, lærte medarbejderne hurtigt at droppe dem, der modtog pushback og fortsætte med at arbejde på dem, der blev dikteret oppefra og ned...
Den tidligere medarbejder lader i mellemtiden ikke længere sin datter bruge Facebook.
Hvordan fikser vi dette?
Haugen er imod at bryde Facebook op eller ophæve paragraf 230 i US Communications Decency Act, som beskytter teknologiske platforme mod at tage ansvar for det indhold, de distribuerer.
I stedet anbefaler hun at udskille en mere målrettet undtagelse i afsnit 230 for algoritmisk rangering, som hun hævder ville slippe af med den engagementsbaserede rangering. Hun går også ind for en tilbagevenden til Facebooks kronologiske nyhedsfeed.
Relateret historie
Anmeldelse: Hvorfor Facebook aldrig kan ordne sig selv I An Ugly Truth afslører journalisterne Sheera Frenkel og Cecilia Kang Facebooks grundlæggende fejl gennem en detaljeret beretning om årene mellem to amerikanske valg.
Ellery Roberts Biddle, projektdirektør hos Ranking Digital Rights, en nonprofitorganisation, der studerer rangordningssystemer på sociale medier og deres indvirkning på menneskerettighederne, siger, at en sektion 230-udskæring skal undersøges omhyggeligt: Jeg tror, det ville have en snæver implikation. Jeg tror ikke, det helt ville opnå det, vi kunne håbe på.
For at en sådan udskæring skal kunne handles, siger hun, skal politikere og offentligheden have en meget større grad af gennemsigtighed i, hvordan Facebooks annoncemålretning og indholdsrangeringssystemer overhovedet fungerer. Jeg forstår Haugens intention - det giver mening, siger hun. Men det er hårdt. Vi har faktisk ikke besvaret spørgsmålet om gennemsigtighed omkring algoritmer endnu. Der er meget mere at lave.
Ikke desto mindre har Haugens afsløringer og vidnesbyrd bragt fornyet opmærksomhed på, hvad mange eksperter og Facebook-medarbejdere har sagt i årevis: at medmindre Facebook ændrer det grundlæggende design af sine algoritmer, vil det ikke gøre et meningsfuldt indhug i platformens problemer.
Hendes indgriben rejser også udsigten til, at hvis Facebook ikke kan bringe sit eget hus i orden, kan politikerne tvinge problemet frem.
Kongressen kan ændre de regler, som Facebook spiller efter, og stoppe de mange skader, det nu forårsager, sagde Haugen til Senatet. Jeg kom frem med stor personlig risiko, fordi jeg mener, at vi stadig har tid til at handle, men vi skal handle nu.