211service.com
Hvordan Facebook blev afhængig af at sprede misinformation
Virksomhedens AI-algoritmer gav det en umættelig vane til løgne og hadefulde ytringer. Nu kan manden, der byggede dem, ikke løse problemet.
De skyldige er Wintermeyer
11. marts 2021Joaquin Quiñonero Candela, direktør for AI hos Facebook, undskyldte til sit publikum.
Det var den 23. marts 2018, blot få dage efter afsløringen af, at Cambridge Analytica, et konsulentfirma, der arbejdede på Donald Trumps præsidentvalgkampagne i 2016, i smug havde suget persondata fra titusinder af amerikanere fra deres Facebook-konti i et forsøg på at påvirke, hvordan de stemte. Det var det største brud på privatlivets fred i Facebooks historie, og Quiñonero havde tidligere været planlagt til at tale på en konference om blandt andet krydsfeltet mellem AI, etik og privatliv i virksomheden. Han overvejede at aflyse, men efter at have diskuteret det med sin kommunikationsdirektør, havde han holdt sin afsatte tid.
Da han trådte op mod rummet, begyndte han med en indrømmelse. Jeg har lige haft de sværeste fem dage i min embedsperiode på Facebook, husker han at have sagt. Hvis der er kritik, accepterer jeg den.
Cambridge Analytica-skandalen ville sætte gang i Facebooks største reklamekrise nogensinde. Det forstærkede frygten for, at de algoritmer, der bestemmer, hvad folk ser på platformen, forstærkede falske nyheder og hadefulde ytringer, og at russiske hackere havde bevæbnet dem til at forsøge at påvirke valget til Trumps fordel. Millioner begyndte at slette appen ; ansatte forlod i protest; selskabets markedsværdi faldt mere end 100 milliarder dollars efter indtjeningsopkaldet i juli.
I de efterfølgende måneder begyndte Mark Zuckerberg sin egen undskyldning. Han undskyldte for ikke at tage en bred nok udsigt af Facebooks ansvar, og for hans fejl som administrerende direktør. Internt startede Sheryl Sandberg, den administrerende direktør, et to-årigt arbejde borgerrettighedsrevision at anbefale måder, hvorpå virksomheden kunne forhindre brugen af dens platform til at underminere demokratiet.
Til sidst bad Mike Schroepfer, Facebooks teknologichef, Quiñonero om at starte et team med et direktiv, der var lidt vagt: at undersøge den samfundsmæssige indvirkning af virksomhedens algoritmer. Gruppen navngav sig selv Society and AI Lab (SAIL); sidste år kombinerede det med et andet team, der arbejdede med spørgsmål om databeskyttelse, for at danne Responsible AI.
Quiñonero var et naturligt valg til jobbet. Han, lige så meget som nogen, var den ansvarlige for Facebooks position som et kraftcenter for kunstig intelligens. I sine seks år hos Facebook havde han skabt nogle af de første algoritmer til at målrette brugere med indhold, der var skræddersyet til deres interesser, og så havde han spredt disse algoritmer ud over virksomheden. Nu ville hans mandat være at gøre dem mindre skadelige.
Facebook har konsekvent peget på Quiñoneros og andres bestræbelser, når de søger at reparere sit omdømme. Den traver jævnligt forskellige ledere ud for at tale med medierne om de igangværende reformer. I maj 2019, det gav en række interviews med Schroepfer til New York Times, som belønnede virksomheden med en humaniserende profil af en følsom, velmenende leder, der stræber efter at overvinde de tekniske udfordringer med at bortfiltrere misinformation og hadefulde ytringer fra en strøm af indhold, der beløb sig til milliarder af stykker om dagen. Disse udfordringer er så hårde, at det gør Schroepfer følelsesladet, skrev Times: Nogle gange får det ham til at græde.
I foråret 2020 var det åbenbart min tur. Ari Entin, Facebooks AI-kommunikationsdirektør, spurgte i en e-mail, om jeg ville se nærmere på virksomhedens AI-arbejde. Efter at have talt med flere af dets AI-ledere besluttede jeg at fokusere på Quiñonero. Entin glad forpligtet. Som ikke kun lederen af Responsible AI-teamet, men også manden, der havde gjort Facebook til en AI-drevet virksomhed, var Quiñonero et solidt valg at bruge som poster boy.
Han virkede også som et naturligt valg af emne for mig. I årene, siden han havde dannet sit team efter Cambridge Analytica-skandalen, var bekymringerne for spredningen af løgne og hadefulde ytringer på Facebook kun vokset. I slutningen af 2018 indrømmede virksomheden, at denne aktivitet havde var med til at sætte gang i en folkemorderisk anti-muslimsk kampagne i Myanmar i flere år. I 2020 begyndte Facebook for sent at skride til handling mod Holocaust-benægtere, anti-vaxxere og konspirationsbevægelsen QAnon. Alle disse farlige løgne blev metastaserende takket være de AI-kapaciteter, som Quiñonero havde hjulpet med at opbygge. Algoritmerne, der understøtter Facebooks forretning, blev ikke skabt for at bortfiltrere, hvad der var falsk eller inflammatorisk; de var designet til at få folk til at dele og engagere sig i så meget indhold som muligt ved at vise dem ting, som de højst sandsynligt ville blive forargede eller ophidsede over. At løse dette problem, for mig, virkede som det centrale ansvarlige AI-territorium.
Jeg begyndte at videoopkalde Quiñonero regelmæssigt. Jeg talte også med Facebook-ledere, nuværende og tidligere ansatte, branchekammerater og eksterne eksperter. Mange talte på betingelse af anonymitet, fordi de havde underskrevet fortrolighedsaftaler eller frygtede gengældelse. Jeg ville gerne vide: Hvad gjorde Quiñoneros team for at tøjle hadet og løgnene på deres platform?
Joaquin Quiñonero Candela uden for sit hjem i Bay Area, hvor han bor med sin kone og tre børn.
WINNI WINTERMEYERMen Entin og Quiñonero havde en anden dagsorden. Hver gang jeg forsøgte at bringe disse emner op, blev mine anmodninger om at tale om dem droppet eller omdirigeret. De ønskede kun at diskutere Responsible AI-teamets plan for at tackle én specifik slags problem: AI bias, hvor algoritmer diskriminerer mod bestemte brugergrupper. Et eksempel kunne være en annoncemålretningsalgoritme, der viser visse job- eller boligmuligheder for hvide mennesker, men ikke til minoriteter.
På det tidspunkt, hvor tusindvis af uromagere stormede den amerikanske hovedstad i januar, delvist organiseret på Facebook og drevet af løgnene om et stjålet valg, der var sprunget ud over platformen, stod det klart fra mine samtaler, at det ansvarlige AI-team havde undladt at lave fremskridt mod misinformation og hadefulde ytringer, fordi det aldrig havde gjort disse problemer til sit hovedfokus. Endnu vigtigere, indså jeg, at hvis den prøvede det, ville den blive sat op til fiasko.
Årsagen er enkel. Alt, hvad virksomheden gør og vælger ikke at gøre, udspringer af en enkelt motivation: Zuckerbergs ubønhørlige ønske om vækst. Quiñoneros AI-ekspertise overladede denne vækst. Hans team blev grebet ind i at målrette AI-bias, som jeg lærte i min rapportering, fordi forebyggelse af sådan bias hjælper virksomheden med at undgå foreslåede forordning der kan hæmme væksten, hvis den bliver vedtaget. Facebooks ledelse har også gentagne gange svækket eller stoppet mange initiativer, der har til formål at rydde op i misinformation på platformen, fordi det ville underminere denne vækst.
Med andre ord er det ansvarlige AI-teams arbejde – uanset dets fordele med det specifikke problem med at tackle AI-bias – i det væsentlige irrelevant for at løse de større problemer med misinformation, ekstremisme og politisk polarisering. Og det er os alle, der betaler prisen.
Når du er i gang med at maksimere engagement, er du ikke interesseret i sandheden. Du er ikke interesseret i skade, splittelse, sammensværgelse. Faktisk er det dine venner, siger Hany Farid, en professor ved University of California, Berkeley, som samarbejder med Facebook for at forstå billed- og videobaseret misinformation på platformen.
De gør altid lige nok for at kunne lægge pressemeddelelsen ud. Men med nogle få undtagelser tror jeg ikke, at det rent faktisk er omsat til bedre politikker. De beskæftiger sig aldrig rigtigt med de grundlæggende problemer.
I marts 2012 Quiñonero besøgte en ven i Bay Area. På det tidspunkt var han leder på Microsoft Researchs kontor i Storbritannien, hvor han ledede et team, der brugte maskinlæring til at få flere besøgende til at klikke på annoncer, der blev vist af virksomhedens søgemaskine, Bing. Hans ekspertise var sjælden, og holdet var mindre end et år gammelt. Maskinlæring, en undergruppe af kunstig intelligens, havde endnu ikke bevist sig selv som en løsning på store industriproblemer. Få tech-giganter havde investeret i teknologien.
Quiñoneros ven ville vise sin nye arbejdsgiver frem, en af de hotteste startups i Silicon Valley: Facebook, dengang otte år gammel og allerede med tæt på en milliard månedlige aktive brugere (dvs. dem, der har logget på mindst én gang inden for de seneste 30 dage). Da Quiñonero gik rundt i hovedkvarteret i Menlo Park, så han en enlig ingeniør lave en større opdatering af hjemmesiden, noget der ville have involveret betydelig bureaukrati hos Microsoft. Det var en mindeværdig introduktion til Zuckerbergs Bevæg dig hurtigt og bryde tingenes etos. Quiñonero var forbløffet over mulighederne. Inden for en uge havde han været igennem samtaler og skrevet under på et tilbud om at komme ind i virksomheden.
Hans ankomst kunne ikke have været bedre timet. Facebooks annonceservice var midt i en hurtig ekspansion, da virksomheden forberedte sin børsnotering i maj. Målet var at øge omsætningen og tage imod Google, som havde brorparten af onlineannonceringsmarkedet. Maskinlæring, som kunne forudsige, hvilke annoncer der ville falde bedst i genklang hos hvilke brugere og dermed gøre dem mere effektive, kunne være det perfekte værktøj. Kort efter starten blev Quiñonero forfremmet til at lede et team, der ligner det, han havde ledet hos Microsoft.
Quiñonero begyndte at opdrætte kyllinger i slutningen af 2019 som en måde at slappe af fra intensiteten af sit job.
WINNI WINTERMEYERI modsætning til traditionelle algoritmer, som er hårdkodet af ingeniører, træner maskinlæringsalgoritmer på inputdata for at lære korrelationerne i dem. Den trænede algoritme, kendt som en maskinlæringsmodel, kan så automatisere fremtidige beslutninger. En algoritme, der er trænet i annonceklikdata, kan for eksempel lære, at kvinder oftere klikker på annoncer for yogaleggings end mænd. Den resulterende model vil derefter vise flere af disse annoncer til kvinder. I dag hos en AI-baseret virksomhed som Facebook genererer ingeniører utallige modeller med små variationer for at se, hvilken der klarer sig bedst på et givent problem.
Facebooks enorme mængder af brugerdata gav Quiñonero en stor fordel. Hans team kunne udvikle modeller, der lærte at udlede eksistensen af ikke kun brede kategorier som kvinder og mænd, men af meget finkornede kategorier som kvinder mellem 25 og 34, der kunne lide Facebook-sider relateret til yoga, og målrettede annoncer til dem. Jo mere detaljeret målretningen er, jo større er chancen for et klik, hvilket ville give annoncører mere valuta for pengene.
Inden for et år havde hans team udviklet disse modeller såvel som værktøjerne til at designe og implementere nye hurtigere. Før havde det taget Quiñoneros ingeniører seks til otte uger at bygge, træne og teste en ny model. Nu skulle der kun én til.
Nyheden om succesen spredte sig hurtigt. Holdet, der arbejdede på at bestemme, hvilke opslag individuelle Facebook-brugere ville se på deres personlige nyhedsfeeds, ønskede at anvende de samme teknikker. Ligesom algoritmer kunne trænes til at forudsige, hvem der ville klikke på hvilken annonce, kunne de også trænes til at forudsige, hvem der kunne lide eller dele hvilket opslag, og så give disse opslag mere fremtrædende plads. Hvis modellen for eksempel bestemte, at en person virkelig kunne lide hunde, ville venners indlæg om hunde blive vist højere oppe på brugerens nyhedsfeed.
Quiñoneros succes med nyhedsstrømmen - kombineret med imponerende ny AI-forskning, der udføres uden for virksomheden - fangede Zuckerbergs og Schroepfers opmærksomhed. Facebook havde nu lidt over 1 milliard brugere, hvilket gør det mere end otte gange større end noget andet socialt netværk, men de ville vide, hvordan de kunne fortsætte væksten. Lederne besluttede at investere kraftigt i kunstig intelligens, internetforbindelse og virtual reality.
De oprettede to AI-hold. Den ene var FAIR, et fundamentalt forskningslaboratorium, der ville fremme teknologiens avancerede muligheder. Den anden, Applied Machine Learning (AML), ville integrere disse muligheder i Facebooks produkter og tjenester. I december 2013, efter måneders frieri og overtalelse, rekrutterede lederne Yann LeCun, et af de største navne på området, til at lede FAIR. Tre måneder senere blev Quiñonero forfremmet igen, denne gang til at lede AML. (Det blev senere omdøbt til FAIAR, udtalt brand.)
Sådan ved du, hvad han tænker på. Jeg var altid, i et par år, få skridt fra Marks skrivebord.
Joaquin Quinonero Candela
I sin nye rolle byggede Quiñonero en ny modeludviklingsplatform, som alle på Facebook kan få adgang til. Hedder FBLearner Flow , det gjorde det muligt for ingeniører med lidt AI-erfaring at træne og implementere maskinlæringsmodeller inden for få dage. I midten af 2016 var den i brug af mere end en fjerdedel af Facebooks ingeniørteam og var allerede blevet brugt til at træne over en million modeller, inklusive modeller til billedgenkendelse, annoncemålretning og indholdsmoderering.
Zuckerbergs besættelse af at få hele verden til at bruge Facebook havde fundet et stærkt nyt våben. Teams havde tidligere brugt designtaktik, som at eksperimentere med indholdet og frekvensen af meddelelser, for at forsøge at tilslutte brugere mere effektivt. Deres mål var blandt andet at øge en metrik kaldet L6/7, andelen af personer, der loggede ind på Facebook seks af de foregående syv dage. L6/7 er blot en af utallige måder, hvorpå Facebook har målt engagement - folks tilbøjelighed til at bruge sin platform på nogen måde, hvad enten det er ved at poste ting, kommentere dem, like eller dele dem eller bare se på dem. Nu blev hver brugerinteraktion, der engang blev analyseret af ingeniører, analyseret af algoritmer. Disse algoritmer skabte meget hurtigere, mere personlige feedback-loops til at finjustere og skræddersy hver brugers nyhedsfeed for at blive ved med at rykke engagementstallet op.
Zuckerberg, som sad i centrum af Building 20, hovedkontoret i Menlo Park-hovedkvarteret, placerede de nye FAIR- og AML-hold ved siden af ham. Mange af de oprindelige AI-ansatte var så tæt på, at hans skrivebord og deres praktisk talt rørte hinanden. Det var den indre helligdom, siger en tidligere leder i AI-organisationen (grenen af Facebook, der indeholder alle dens AI-hold), som husker, at CEO'en blandede folk ind og ud af hans nærhed, efterhånden som de opnåede eller mistede hans gunst. Sådan ved du, hvad han tænker på, siger Quiñonero. Jeg var altid, i et par år, få skridt fra Marks skrivebord.
Med nye maskinlæringsmodeller kommer online dagligt, og virksomheden skabte et nyt system til at spore deres indflydelse og maksimere brugerengagementet. Processen er stadig den samme i dag. Hold træner en ny maskinlæringsmodel på FBLearner, uanset om de skal ændre rækkefølgen af opslag eller for bedre at fange indhold, der overtræder Facebooks fællesskabsstandarder (dets regler for, hvad der er og ikke er tilladt på platformen). Derefter tester de den nye model på en lille delmængde af Facebooks brugere for at måle, hvordan den ændrer engagementsmålinger, såsom antallet af likes, kommentarer og delinger, siger Krishna Gade, der fungerede som ingeniørchef for nyhedsfeed fra 2016 til 2018 .
Hvis en model reducerer engagementet for meget, kasseres den. Ellers bliver det implementeret og løbende overvåget. På Twitter, Gade forklaret at hans ingeniører ville få meddelelser med få dages mellemrum, når målinger såsom likes eller kommentarer var nede. Derefter ville de tyde, hvad der havde forårsaget problemet, og om nogen modeller havde brug for omskoling.
Men denne tilgang skabte snart problemer. De modeller, der maksimerer engagementet, favoriserer også kontroverser, misinformation og ekstremisme: enkelt sagt, folk kan bare lide uhyrlige ting. Nogle gange opildner dette eksisterende politiske spændinger. Det mest ødelæggende eksempel til dato er tilfældet med Myanmar, hvor virale falske nyheder og hadefulde ytringer om det muslimske rohingya-mindretal eskalerede landets religiøse konflikt til et fuldstændigt folkedrab. Facebook optaget i 2018 , efter mange års nedtoning af sin rolle, at den ikke havde gjort nok for at forhindre vores platform i at blive brugt til at anspore til splittelse og tilskynde til offline vold.
Mens Facebook måske var uvidende om disse konsekvenser i begyndelsen, studerede det dem i 2016. I en intern præsentation fra det år, gennemgået af Wall Street Journal , fandt en virksomhedsforsker, Monica Lee, ud af, at Facebook ikke kun var vært for et stort antal ekstremistiske grupper, men også promoverede dem til sine brugere: 64 % af alle ekstremistiske gruppers tilslutning skyldes vores anbefalingsværktøjer, hedder det i præsentationen, overvejende takket være modellerne bag funktionerne Grupper, du bør deltage i, og Opdag.
Spørgsmålet til ledelse var: Skal vi optimere for engagement, hvis du opdager, at nogen er i en sårbar sindstilstand?
En tidligere AI-forsker, der kom til i 2018
I 2017 dannede Chris Cox, Facebooks mangeårige produktchef, en ny taskforce for at forstå, om maksimering af brugerengagement på Facebook bidrog til politisk polarisering. Den fandt ud af, at der faktisk var en sammenhæng, og at reduktion af polarisering ville betyde, at man blev ramt af engagement. I et dokument fra midten af 2018, der blev gennemgået af Journal, foreslog taskforcen adskillige potentielle rettelser, såsom at justere anbefalingsalgoritmerne for at foreslå en mere forskelligartet række grupper, som folk kunne tilslutte sig. Men den anerkendte, at nogle af ideerne var antivækst. De fleste af forslagene kom ikke videre, og taskforcen blev opløst.
Siden da har andre medarbejdere bekræftet disse resultater. En tidligere Facebook AI-forsker, der sluttede sig til i 2018, siger, at han og hans team udførte undersøgelse efter undersøgelse, der bekræftede den samme grundlæggende idé: modeller, der maksimerer engagement, øger polarisering. De kunne nemt spore, hvor meget brugere var enige eller uenige i forskellige spørgsmål, hvilket indhold de kunne lide at engagere sig i, og hvordan deres holdninger ændrede sig som følge heraf. Uanset problemet, lærte modellerne at give brugerne mere og mere ekstreme synspunkter. Over tid de målbart blive mere polariseret, siger han.
Forskerholdet fandt også ud af, at brugere med en tendens til at poste eller engagere sig i melankolsk indhold - et muligt tegn på depression - nemt kunne spiral ind i at forbruge mere og mere negativt materiale, der risikerede at forværre deres mentale sundhed yderligere. Holdet foreslog at tilpasse indholdsrangeringsmodellerne for disse brugere for at stoppe med at maksimere engagement alene, så de ville blive vist mindre af de deprimerende ting. Spørgsmålet til ledelse var: Skal vi optimere for engagement, hvis du opdager, at nogen er i en sårbar sindstilstand? husker han. (En Facebook-talsmand sagde, at hun ikke kunne finde dokumentation for dette forslag.)
Relateret historie
Den rodede, hemmelighedsfulde virkelighed bag OpenAIs forsøg på at redde verden AI moonshot blev grundlagt i en ånd af gennemsigtighed. Dette er historien om, hvordan konkurrencepresset udhulede den idealisme.Men alt, der reducerede engagementet, selv af årsager som ikke at forværre nogens depression, førte til en masse hæmning og skænderi blandt ledere. Med deres præstationsgennemgange og lønninger knyttet til en vellykket gennemførelse af projekter, lærte medarbejderne hurtigt at droppe dem, der modtog pushback, og fortsætte med at arbejde på dem, der blev dikteret oppefra og ned.
Et sådant projekt, der blev presset kraftigt af virksomhedsledere, involverede at forudsige, om en bruger kunne være i fare for noget, flere mennesker allerede havde gjort: at livestreame deres eget selvmord på Facebook Live. Opgaven gik ud på at bygge en model at analysere kommentarerne at andre brugere postede en video, efter at den var gået live, og gjorde udsatte brugere opmærksomme på uddannede Facebook-community-anmeldere, som kunne ringe til lokale nødhjælpspersonale for at udføre et wellness-tjek. Det krævede ingen ændringer i indholdsrangeringsmodeller, havde ubetydelig indflydelse på engagementet og afværgede effektivt negativ presse. Det var også næsten umuligt, siger forskeren: Det er mere et PR-stunt. Effektiviteten af at prøve at afgøre, om nogen vil begå selvmord inden for de næste 30 sekunder, baseret på de første 10 sekunders videoanalyse - du vil ikke være særlig effektiv.
Facebook bestrider denne karakteristik og siger, at teamet, der arbejdede på denne indsats, siden med succes har forudsagt, hvilke brugere der var i fare, og øget antallet af udførte wellness-tjek. Men virksomheden frigiver ikke data om nøjagtigheden af sine forudsigelser eller hvor mange wellness-tjek, der viste sig at være reelle nødsituationer.
Den tidligere medarbejder lader i mellemtiden ikke længere sin datter bruge Facebook.
Quiñonero burde have været det perfekt placeret til at tackle disse problemer, da han oprettede SAIL-teamet (senere Responsible AI) i april 2018. Hans tid som direktør for Applied Machine Learning havde gjort ham indgående fortrolig med virksomhedens algoritmer, især dem, der blev brugt til at anbefale indlæg, annoncer, og andet indhold til brugerne.
Det så også ud til, at Facebook var klar til at tage disse problemer alvorligt. Mens tidligere bestræbelser på at arbejde på dem havde været spredt ud over virksomheden, fik Quiñonero nu tildelt et centraliseret team med spillerum i sit mandat til at arbejde med, hvad han fandt passende i krydsfeltet mellem AI og samfundet.
På det tidspunkt var Quiñonero i gang med sin egen genopdragelse om, hvordan man er en ansvarlig teknolog. AI-forskningsfeltet var stigende opmærksomhed på problemer med AI-bias og ansvarlighed i kølvandet på højprofilerede undersøgelser, der viste, at f.eks. en algoritme scorede sorte tiltalte som mere tilbøjelige til at blive anholdt igen end hvide tiltalte, der var blevet anholdt for samme eller en mere alvorlig lovovertrædelse. Quiñonero begyndte at studere den videnskabelige litteratur om algoritmisk retfærdighed, læste bøger om etisk teknik og teknologiens historie og talte med borgerrettighedseksperter og moralfilosoffer.
WINNI WINTERMEYERI løbet af de mange timer, jeg tilbragte med ham, kunne jeg mærke, at han tog dette alvorligt. Han havde sluttet sig til Facebook midt i det arabiske forår, en række revolutioner mod undertrykkende mellemøstlige regimer. Eksperter havde rost sociale medier for at sprede den information, der satte næring til opstandene og give folk værktøjer til at organisere sig. Født i Spanien, men opvokset i Marokko, hvor han havde set undertrykkelsen af ytringsfriheden på egen hånd, følte Quiñonero en intens forbindelse til Facebooks potentiale som en kraft til det gode.
Seks år senere havde Cambridge Analytica truet med at omstøde dette løfte. Kontroversen tvang ham til at konfrontere sin tro på virksomheden og undersøge, hvad det ville betyde for hans integritet at blive ved. Jeg tror, at det, der sker med de fleste mennesker, der arbejder på Facebook – og bestemt har været min historie – er, at der ikke er nogen grænse mellem Facebook og mig, siger han. Det er ekstremt personligt. Men han valgte at blive og stå i spidsen for SAIL, fordi han troede på, at han kunne gøre mere for verden ved at hjælpe med at vende virksomheden end ved at efterlade den.
Jeg tror, at hvis du er hos en virksomhed som Facebook, især i løbet af de sidste par år, indser du virkelig hvilken indflydelse dine produkter har på folks liv – på hvad de tænker, hvordan de kommunikerer, hvordan de interagerer med hinanden, siger Quiñonero's. mangeårige ven Zoubin Ghahramani, som hjælper med at lede Google Brain-teamet. Jeg ved, at Joaquin bekymrer sig dybt om alle aspekter af dette. Som en, der stræber efter at opnå bedre og forbedre ting, ser han den vigtige rolle, han kan have i at forme både tankegangen og politikkerne omkring ansvarlig AI.
I begyndelsen havde SAIL kun fem personer, som kom fra forskellige dele af virksomheden, men som alle var interesserede i algoritmernes samfundsmæssige virkning. Et stiftende medlem, Isabel Kloumann, en forsker, der kom fra virksomhedens kernedatavidenskabsteam, bragte en indledende version af et værktøj til at måle skævheden i AI-modeller.
Holdet brainstormede også mange andre idéer til projekter. Den tidligere leder i AI-organisationen, som var til stede ved nogle af de tidlige møder i SAIL, minder om et forslag til bekæmpelse af polarisering. Det involverede brug af sentimentanalyse, en form for maskinlæring, der fortolker mening i tekststykker, for bedre at identificere kommentarer, der udtrykte ekstreme synspunkter. Disse kommentarer ville ikke blive slettet, men de ville blive skjult som standard med en mulighed for at afsløre dem, hvilket begrænser antallet af personer, der så dem.
Og der var diskussioner om, hvilken rolle SAIL kunne spille inden for Facebook, og hvordan det skulle udvikle sig over tid. Stemningen var, at holdet først ville producere retningslinjer for ansvarlig AI for at fortælle produktholdene, hvad de skulle eller ikke skulle gøre. Men håbet var, at det i sidste ende ville fungere som virksomhedens centrale knudepunkt for at evaluere AI-projekter og stoppe dem, der ikke fulgte retningslinjerne.
Tidligere medarbejdere beskrev dog, hvor svært det kunne være at få buy-in eller økonomisk støtte, når arbejdet ikke direkte forbedrede Facebooks vækst. I sagens natur var holdet ikke tænkte på vækst, og i nogle tilfælde var det at foreslå ideer, der var i modstrid med vækst. Som et resultat fik den få ressourcer og sygnede hen. Mange af dens ideer forblev stort set akademiske.
Den 29. august 2018, det ændrede sig pludselig. I optakten til det amerikanske midtvejsvalg, præsident Donald Trump og andre republikanske ledere hævede anklager at Facebook, Twitter og Google havde antikonservativ skævhed. De hævdede, at især Facebooks moderatorer ved at anvende fællesskabsstandarderne undertrykte konservative stemmer mere end liberale. Denne afgift ville senere blive afkræftet , men hashtagget #StopTheBias , drevet af et Trump-tweet, blev hurtigt spredt på sociale medier.
For Trump var det den seneste indsats for at så mistillid til landets almindelige informationsdistributionskanaler. For Zuckerberg truede det med at fremmedgøre Facebooks konservative amerikanske brugere og gøre virksomheden mere sårbar over for regulering fra en republikansk ledet regering. Det truede med andre ord virksomhedens vækst.
Facebook gav mig ikke et interview med Zuckerberg, men Tidligere rapportering har vist hvordan han i stigende grad bøjede sig for Trump og den republikanske ledelse. Efter at Trump blev valgt, rådede Joel Kaplan, Facebooks vicedirektør for global offentlig politik og dets højest rangerende republikaner, Zuckerberg til at træde varsomt i det nye politiske miljø.
Den 20. september 2018, tre uger efter Trumps #StopTheBias tweet, holdt Zuckerberg et møde med Quiñonero for første gang siden SAILs oprettelse. Han ville vide alt, hvad Quiñonero havde lært om AI-bias, og hvordan man ophæver det i Facebooks modeller for indholdsmoderering. Ved slutningen af mødet var én ting klar: AI-bias var nu Quiñoneros topprioritet. Ledelsen har været meget, meget nøjeregnende med at sikre, at vi skalerer dette aggressivt, siger Rachad Alao, ingeniørdirektøren for Responsible AI, som kom til i april 2019.
Det var en sejr for alle i rummet. Zuckerberg har en måde at afværge anklager om antikonservativ skævhed. Og Quiñonero havde nu flere penge og et større team til at gøre den overordnede Facebook-oplevelse bedre for brugerne. De kunne bygge videre på Kloumanns eksisterende værktøj for at måle og korrigere den påståede antikonservative skævhed i modeller for indholdsmoderering, såvel som at rette op på andre typer skævheder i langt de fleste modeller på tværs af platformen.
Dette kan hjælpe med at forhindre, at platformen utilsigtet diskriminerer visse brugere. På det tidspunkt havde Facebook allerede tusindvis af modeller kørende samtidig, og næsten ingen var blevet målt for bias. Det ville få det i juridiske problemer et par måneder senere med det amerikanske ministerium for bolig- og byudvikling (HUD), som hævdede, at virksomhedens algoritmer udledte beskyttede egenskaber som race fra brugernes data og viste dem annoncer for boliger baseret på disse egenskaber. — en ulovlig form for diskrimination. (Retssagen verserer stadig.) Schroepfer forudsagde også, at Kongressen snart ville vedtage love til regulere algoritmisk diskrimination , så Facebook skulle alligevel gøre fremskridt med disse bestræbelser.
(Facebook bestrider ideen om, at det fortsatte sit arbejde med AI-bias for at beskytte vækst eller i forventning om regulering. Vi byggede Responsible AI-teamet, fordi det var det rigtige at gøre, sagde en talsmand).
Men at indsnævre SAILs fokus til algoritmisk retfærdighed ville sidelinje alle Facebooks andre langvarige algoritmiske problemer. Dens indholdsanbefalingsmodeller ville fortsætte med at skubbe indlæg, nyheder og grupper til brugerne i et forsøg på at maksimere engagementet, belønne ekstremistisk indhold og bidrage til en stadig mere splittet politisk diskurs.
Zuckerberg indrømmede endda dette. To måneder efter mødet med Quiñonero, i en offentlig note Han skitserede Facebooks planer for indholdsmoderering og illustrerede de skadelige virkninger af virksomhedens engagementsstrategi med et forenklet diagram. Det viste, at jo mere sandsynligt et opslag er for at overtræde Facebooks fællesskabsstandarder, jo mere brugerengagement modtager det, fordi de algoritmer, der maksimerer engagementet, belønner inflammatorisk indhold.
FACEBOOKMen så viste han et andet diagram med det omvendte forhold. I stedet for at belønne indhold, der var tæt på at overtræde fællesskabets standarder, skrev Zuckerberg, kunne Facebook vælge at begynde at straffe det, hvilket giver det mindre distribution og engagement i stedet for mere. Hvordan ville dette blive gjort? Med mere AI. Facebook ville udvikle bedre modeller for indholdsmoderering til at opdage dette grænseoverskridende indhold, så det med tilbagevirkende kraft kunne blive skubbet lavere i nyhedsfeedet for at fjerne dets viralitet, sagde han.
FACEBOOKProblemet er, at for alle Zuckerbergs løfter er denne strategi i bedste fald spinkel.
Misinformation og hadefulde ytringer udvikler sig konstant. Nye løgne dukker op; nye mennesker og grupper bliver mål. For at fange ting, før de bliver virale, skal modeller for indholdsmoderering være i stand til at identificere nyt uønsket indhold med høj nøjagtighed. Men maskinlærende modeller fungerer ikke på den måde. En algoritme, der har lært at genkende holocaust-benægtelse, kan ikke umiddelbart få øje på for eksempel rohingya-folkemordsfornægtelse. Det skal trænes i tusindvis, ofte endda millioner, af eksempler på en ny type indhold, før man lærer at filtrere det fra. Selv da kan brugere hurtigt lære at overliste modellen ved at gøre ting som at ændre ordlyden af et indlæg eller erstatte ophidsende sætninger med eufemismer, hvilket gør deres budskab ulæseligt for AI, mens det stadig er indlysende for et menneske. Dette er grunden til, at nye konspirationsteorier hurtigt kan komme ud af kontrol, og dels hvorfor, selv efter at sådant indhold er forbudt, former for det kan blive ved på platformen.
I sin New York Times-profil, Schroepfer navngivet disse begrænsninger af virksomhedens indholdsmodereringsstrategi. Hver gang hr. Schroepfer og hans mere end 150 ingeniørspecialister skaber A.I. løsninger, der markerer og dæmper skadeligt materiale, nye og tvivlsomme indlæg, som A.I. systemer har aldrig set før dukker op - og bliver dermed ikke fanget, skrev Times. Det kommer aldrig til at gå i nul, sagde Schroepfer til publikationen.
I mellemtiden arbejder de algoritmer, der anbefaler dette indhold, stadig for at maksimere engagementet. Det betyder, at hvert giftigt indlæg, der undslipper indholdsmodereringsfiltrene, fortsat vil blive skubbet højere op i nyhedsfeedet og promoveret for at nå ud til et større publikum. Faktisk, en studie fra New York University fandt for nylig ud af, at blandt partipolitiske udgiveres Facebook-sider modtog de, der regelmæssigt postede politisk misinformation, mest engagement i optakten til det amerikanske præsidentvalg i 2020 og Capitol-optøjerne. Det fik mig på en måde, siger en tidligere medarbejder, der arbejdede med integritetsspørgsmål fra 2018 til 2019. Vi anerkendte fuldt ud [dette], og alligevel øger vi stadig engagementet.
Men Quiñoneros SAIL-team arbejdede ikke på dette problem. På grund af Kaplans og Zuckerbergs bekymringer om at fremmedgøre konservative, forblev holdet fokuseret på bias. Og selv efter at det blev fusioneret til det større ansvarlige AI-team, fik det aldrig mandat til at arbejde på indholdsanbefalingssystemer, der kunne begrænse spredningen af misinformation. Det har heller ikke noget andet hold, som jeg bekræftede, efter at Entin og en anden talsmand gav mig en komplet liste over alle Facebooks andre initiativer vedrørende integritetsspørgsmål – virksomhedens paraplybetegnelse for problemer, herunder misinformation, hadefulde ytringer og polarisering.
Relateret historie
Jeg begyndte at græde: Inde i Timnit Gebrus sidste dage på Google – og hvad sker der så .En Facebook-talsmand sagde, at arbejdet ikke udføres af et specifikt team, fordi det ikke er sådan, virksomheden fungerer. Det er i stedet fordelt blandt de teams, der har den specifikke ekspertise til at tackle, hvordan indholdsrangering påvirker misinformation for deres del af platformen, sagde hun. Men Schroepfer fortalte mig præcis det modsatte i et tidligere interview. Jeg havde spurgt ham, hvorfor han havde oprettet et centraliseret ansvarligt AI-team i stedet for at lede eksisterende teams til at gøre fremskridt med spørgsmålet. Han sagde, at det var bedste praksis i virksomheden.
[Hvis] det er et vigtigt område, skal vi bevæge os hurtigt på det, det er ikke veldefineret, [vi opretter] et dedikeret team og får den rigtige ledelse, sagde han. Efterhånden som et område vokser og modnes, vil du se produktteamene påtage sig mere arbejde, men det centrale team er stadig nødvendigt, fordi du skal holde dig oppe med det nyeste arbejde.
Da jeg beskrev Responsible AI-teamets arbejde for andre eksperter i AI-etik og menneskerettigheder, bemærkede de uoverensstemmelsen mellem de problemer, det tacklede, og dem, såsom misinformation, som Facebook er mest berygtet for. Dette ser ud til at være så mærkeligt fjernet fra Facebook som et produkt - de ting Facebook bygger og spørgsmålene om indflydelse på verden, som Facebook står over for, sagde Rumman Chowdhury, hvis startup, Paritet , rådgiver virksomheder om ansvarlig brug af kunstig intelligens, og blev erhvervet af Twitter efter vores interview. Jeg havde vist Chowdhury Quiñonero-holdets dokumentation, der detaljerede dets arbejde. Jeg finder det overraskende, at vi kommer til at tale om inklusivitet, retfærdighed, retfærdighed og ikke tale om de meget virkelige problemer, der sker i dag, sagde hun.
Det ser ud til, at den 'ansvarlige AI'-framing er fuldstændig subjektiv i forhold til, hvad en virksomhed beslutter, at den vil bekymre sig om. Det er ligesom, 'Vi finder på vilkårene, og så følger vi dem', siger Ellery Roberts Biddle, redaktionschef for Ranking Digital Rights, en nonprofitorganisation, der studerer teknologivirksomheders indvirkning på menneskerettigheder. Jeg forstår ikke engang, hvad de mener, når de taler om retfærdighed. Synes de, det er rimeligt at anbefale folk at slutte sig til ekstremistiske grupper, som dem der stormede Capitol? Hvis alle får anbefalingen, betyder det så, at den var retfærdig?
Vi er et sted, hvor der er ét folkedrab [Myanmar], som FN med en masse beviser specifikt har været i stand til at pege på Facebook og på den måde, platformen promoverer indhold på, tilføjer Biddle. Hvor meget højere kan indsatsen blive?
I løbet af de sidste to år, Quiñoneros team har bygget Kloumanns originale værktøj, kaldet Fairness Flow. Det giver ingeniører mulighed for at måle nøjagtigheden af maskinlæringsmodeller for forskellige brugergrupper. De kan sammenligne en ansigtsgenkendelsesmodels nøjagtighed på tværs af forskellige aldre, køn og hudtoner, eller en talegenkendelsesalgoritmes nøjagtighed på tværs af forskellige sprog, dialekter og accenter.
Fairness Flow kommer også med et sæt retningslinjer, der hjælper ingeniører med at forstå, hvad det vil sige at træne en fair model. Et af de vanskeligere problemer med at gøre algoritmer retfærdige er, at der er forskellige definitioner af retfærdighed , som kan være gensidigt uforenelige. Fairness Flow lister fire definitioner, som ingeniører kan bruge i henhold til, som passer bedst til deres formål, såsom om en talegenkendelsesmodel genkender alle accenter med samme nøjagtighed eller med en minimumstærskel for nøjagtighed.
Men at teste algoritmer for retfærdighed er stadig stort set valgfrit på Facebook. Ingen af de hold, der arbejder direkte på Facebooks nyhedsfeed, annonceservice eller andre produkter, er forpligtet til at gøre det. Lønincitamenter er stadig knyttet til engagement og vækstmålinger. Og selvom der er retningslinjer for, hvilken retfærdighedsdefinition, der skal bruges i en given situation, håndhæves de ikke.
Dette sidste problem kom til syne, da virksomheden skulle håndtere påstande om antikonservativ skævhed.
I 2014 blev Kaplan forfremmet fra amerikansk politikchef til global vicepræsident for politik, og han begyndte at spille en mere hårdhændet rolle i indholdsmoderering og beslutninger om, hvordan man rangerer opslag i brugernes nyhedsfeeds. Efter at republikanerne begyndte at give udtryk for påstande om antikonservativ skævhed i 2016, begyndte hans team manuelt at gennemgå virkningen af misinformation-detektionsmodeller på brugere for at sikre – blandt andet – at de ikke straffede konservative uforholdsmæssigt.
Alle Facebook-brugere har omkring 200 træk knyttet til deres profil. Disse omfatter forskellige dimensioner indsendt af brugere eller estimeret af maskinlæringsmodeller, såsom race, politiske og religiøse holdninger, socioøkonomisk klasse og uddannelsesniveau. Kaplans team begyndte at bruge egenskaberne til at sammensætte brugerdefinerede brugersegmenter, der i vid udstrækning afspejlede konservative interesser: brugere, der for eksempel engagerede sig i konservativt indhold, grupper og sider. Derefter ville de køre særlige analyser for at se, hvordan beslutninger om indholdsmoderering ville påvirke indlæg fra disse segmenter, ifølge en tidligere forsker, hvis arbejde var underlagt disse anmeldelser.
Fairness Flow-dokumentationen, som Responsible AI-teamet skrev senere, inkluderer et casestudie om, hvordan man bruger værktøjet i en sådan situation. Når man skal beslutte, om en misinformationsmodel er retfærdig med hensyn til politisk ideologi, skrev holdet, at retfærdighed gør det ikke betyder, at modellen skal påvirke konservative og liberale brugere ligeligt. Hvis konservative poster en større del af misinformation, som vurderet ved offentlig konsensus, så bør modellen markere en større del af konservativt indhold. Hvis liberale sender mere misinformation, bør det også markere deres indhold oftere.
Men medlemmer af Kaplans team fulgte præcis den modsatte tilgang: de tog retfærdighed til at betyde, at disse modeller ikke skulle påvirke konservative mere end liberale. Når en model gjorde det, ville de stoppe dens udrulning og kræve en ændring. Engang blokerede de en medicinsk fejlinformationsdetektor, der mærkbart havde reduceret rækkevidden af anti-vaccinekampagner, fortalte den tidligere forsker. De fortalte forskerne, at modellen ikke kunne implementeres, før holdet rettede denne uoverensstemmelse. Men det gjorde reelt modellen meningsløs. Det nytter altså ikke noget, siger forskeren. En model ændret på den måde ville bogstaveligt talt ikke have nogen indflydelse på det faktiske problem med misinformation.
Jeg forstår ikke engang, hvad de mener, når de taler om retfærdighed. Synes de, det er rimeligt at anbefale folk at slutte sig til ekstremistiske grupper, som dem der stormede Capitol? Hvis alle får anbefalingen, betyder det så, at den var retfærdig?
Ellery Roberts Biddle, redaktionschef for Ranking Digital Rights
Dette skete utallige andre gange - og ikke kun for indholdsmoderering. I 2020 blev Washington Post rapporterede, at Kaplans team havde undermineret bestræbelserne på at afbøde valgindblanding og polarisering inden for Facebook og sagde, at de kunne bidrage til antikonservativ skævhed. I 2018 brugte det samme argument til at skrinlægge et projekt til at redigere Facebooks anbefalingsmodeller, selvom forskere mente, at det ville reducere splittelse på platformen, ifølge Wall Street Journal . Hans påstande om politisk skævhed svækkede også et forslag om at redigere rangeringsmodellerne for nyhedsfeedet, som Facebooks dataforskere mente ville styrke platformen mod den manipulationstaktik, Rusland havde brugt under det amerikanske valg i 2016.
Og forud for valget i 2020 brugte Facebooks politiske ledere denne undskyldning, ifølge New York Times , for at nedlægge veto eller svække flere forslag, der ville have reduceret spredningen af hadefuldt og skadeligt indhold.
Facebook anfægtede Wall Street Journals rapportering en opfølgende blog post, og udfordrede New York Times karakteristik i et interview med publikationen. En talsmand for Kaplans team afviste mig også, at dette var et adfærdsmønster, idet han sagde, at de sager, der blev rapporteret af Post, Journal og Times, alle var individuelle tilfælde, som vi mener er forkert karakteriseret. Han afviste at kommentere om genoptræning af misinformationsmodeller på posten.
Mange af disse hændelser skete før Fairness Flow blev vedtaget. Men de viser, hvordan Facebooks stræben efter retfærdighed i vækstens tjeneste allerede var kommet til en høj pris for at komme videre på platformens andre udfordringer. Og hvis ingeniører brugte definitionen af retfærdighed, som Kaplans team havde vedtaget, kunne Fairness Flow simpelthen systematisere adfærd, der belønnede misinformation i stedet for at hjælpe med at bekæmpe den.
Ofte kom det hele med retfærdighed kun i spil som en bekvem måde at opretholde status quo på, siger den tidligere forsker: Det ser ud til at flyve i lyset af de ting, som Mark sagde offentligt i forhold til at være fair og retfærdig.
Sidste gang jeg talte med Quiñonero var en måned efter de amerikanske Capitol-optøjer. Jeg ville gerne vide, hvordan stormen af Kongressen havde påvirket hans tankegang og retningen af hans arbejde.
I videoopkaldet var det, som det altid var: Quiñonero ringede ind fra sit hjemmekontor i et vindue og Entin, hans PR-behandler, i et andet. Jeg spurgte Quiñonero, hvilken rolle han følte, Facebook havde spillet i optøjerne, og om det ændrede den opgave, han så for Responsible AI. Efter en lang pause omgik han spørgsmålet og lancerede en beskrivelse af det seneste arbejde, han havde udført for at fremme større mangfoldighed og inklusion blandt AI-holdene.
Jeg stillede ham spørgsmålet igen. Hans Facebook Portal-kamera, der bruger computervisionsalgoritmer til at spore højttaleren, begyndte langsomt at zoome ind på hans ansigt, mens han voksede stille. Jeg ved ikke, at jeg har et let svar på det spørgsmål, Karen, sagde han. Det er et ekstremt svært spørgsmål at stille mig.
Entin, der havde gået hurtigt med et stoisk pokeransigt, greb en rød stressbold.
Jeg spurgte Quiñonero, hvorfor hans team ikke tidligere havde undersøgt måder at redigere Facebooks indholdsrangeringsmodeller for at dæmpe misinformation og ekstremisme. Han fortalte mig, at det var andre holds opgave (selvom ingen, som jeg bekræftede, har fået mandat til at arbejde på den opgave). Det er ikke muligt for det ansvarlige AI-team at studere alle disse ting selv, sagde han. Da jeg spurgte, om han ville overveje at få sit team til at tackle disse problemer i fremtiden, indrømmede han vagt, at jeg er enig med dig i, at det vil være omfanget af disse typer samtaler.
Nær slutningen af vores timelange interview begyndte han at understrege, at AI ofte uretfærdigt blev malet som synderen. Uanset om Facebook brugte AI eller ej, sagde han, ville folk stadig udspy løgne og hadefulde ytringer, og det indhold ville stadig spredes over platformen.
Jeg pressede ham en gang til. Han kunne bestemt ikke tro, at algoritmer absolut intet havde gjort for at ændre karakteren af disse problemer, sagde jeg.
Jeg ved det ikke, sagde han med en standsende stammen. Så gentog han, med mere overbevisning: Det er mit ærlige svar. Ærlig over for Gud. Jeg ved ikke.
Rettelser: Vi ændrede en linje, der foreslog, at Joel Kaplan, Facebooks vicepræsident for global politik, havde brugt Fairness Flow. Han har ikke. Men medlemmer af hans team har brugt begrebet retfærdighed til at anmode om genoptræning af misinformationsmodeller på måder, der direkte modsiger Responsible AI's retningslinjer. Vi præciserede også, hvornår Rachad Alao, ingeniørdirektøren for Responsible AI , kom med i virksomheden.