Facebook laver sine egne AI-deepfakes for at afværge en desinformationskatastrofe

Side-by-side billeder af original video og deepfake. Facebook

Facebook frygter, at AI-genererede deepfake-videoer kan være den næste store kilde til viral misinformation - spredes blandt sine brugere med potentielt katastrofale konsekvenser for det næste amerikanske præsidentvalg.

dens løsning? At lave masser af sine egne deepfakes for at hjælpe forskere med at bygge og forfine detektionsværktøjer.

Facebook har instrueret sit hold af AI-forskere til at producere en række yderst realistiske falske videoer med skuespillere, der gør og siger rutinemæssige ting. Disse klip vil tjene som et datasæt til test og benchmarking af deepfake-detektionsværktøjer. Facebook-deepfakes vil blive frigivet på en større AI-konference i slutningen af ​​året.

Fremkomsten af ​​deepfakes er blevet drevet af de seneste fremskridt inden for maskinlæring. Det har længe været muligt for filmstudier at manipulere billeder og video med software og computere, og algoritmer, der er i stand til at fange og genskabe en persons lighed, er allerede blevet brugt til at lave peg-og-klik-værktøjer til at indsætte en persons ansigt på en anden .

Der findes metoder til at spotte forfalskede medier, men de involverer ofte omhyggelige ekspertanalyser. Værktøjer til automatisk at fange deepfakes er kun lige ved at dukke op.

Facebooks CTO, Mike Schroepfer, siger, at deepfakes udvikler sig hurtigt, så det er afgørende at udtænke meget bedre måder at markere eller blokere potentielle forfalskninger på.

Vi har ikke set dette som et stort problem på vores platforme endnu, men min antagelse er, at hvis du øger adgangen – gør det billigere, nemmere, hurtigere at bygge disse ting – øger det klart risikoen for, at folk vil bruge dette på en ondsindet måde, Schroepfer , der står i spidsen for initiativet, sagde i aftes. Jeg ønsker ikke at være i en situation, hvor dette er et massivt problem, og vi ikke har investeret enorme beløb i F&U.

Ved at sammenligne indsatsen med kampen mod spam-e-mail sagde Schroepfer, at Facebook muligvis ikke er i stand til at fange de mest sofistikerede forfalskninger. Vi fanger de åbenlyse, sagde han. Men han sagde, at Facebook ikke anvender nogen metoder endnu, fordi forfalskningerne forbedres så hurtigt.

Det sociale netværk vil afsætte $10 millioner til finansiering af detektionsteknologien gennem tilskud og udfordringspræmier. Sammen med Microsoft er Partnerskab om AI , og akademikere fra institutioner, herunder MIT, UC Berkeley og Oxford University, lancerer virksomheden Deepfake Detection Challenge , som vil tilbyde uspecificerede kontante belønninger for de bedste detektionsmetoder.

At lave en deepfake kræver typisk to videoklip. Algoritmer lærer udseendet af hvert ansigt for at indsætte det ene på det andet, mens de bevarer hvert smil, blink og nik. Forskellige AI-teknikker kan også bruges til at genskabe en specifik persons stemme. Udtrykket deepfake er taget fra en Reddit-bruger, der udgav et sådant værktøj i 2017. Det refererer til deep learning, den anvendte AI-teknik.

En af de store bekymringer er, at deepfakes kan blive brugt til at sprede meget smitsom misinformation under næste års amerikanske valg, og måske endda påvirke resultatet. Adskillige amerikanske senatorer har slået alarm om truslen, og Ben Sasse (R-Nebraska) fremsatte et lovforslag for at gøre det ulovligt at skabe eller distribuere deepfakes med ondsindet hensigt. En nylig rapportere om valgmisinformation fra NYU identificerer deepfakes som en af ​​flere nøgleudfordringer for valget i 2020.

Manipulerede videoer spredes allerede på sociale platforme, faktisk. Tidligere i år spredte et klip, der så ud til at vise Nancy Pelosi, sløre sin tale (lavet blot ved at bremse optagelserne) hurtigt over Facebook. Virksomheden nægtede at fjerne det indlæg eller en dyb falsk forfalskning af Mark Zuckerberg, og valgte i stedet at markere klippene som falske med faktatjekorganisationer.

Det giver mening for Facebook at forsøge at komme ud af problemet, især efter nedfaldet fra det sidste præsidentvalg. Da detaljer om politiske misinformationskampagner dukkede op, blev Facebook mødt med intens kritik for at tillade sådan propaganda at sprede sig.

At promovere den dybe falske udfordring kan dog have utilsigtede konsekvenser. Henry Ajder, analytiker hos Deeptrace, et hollandsk firma, der arbejder på værktøjer til at spotte forfalskede klip, bemærker, at fortællingen omkring deepfakes kan tilbyde en måde for politikere at undvige ansvarlighed ved at hævde, at ægte information er blevet forfalsket (se Fake America great igen ). Alene ideen om deepfakes skaber allerede mange problemer, siger Ajder. Det er en virus i den politiske sfære, der har inficeret politikernes og borgernes sind.

På trods af alarmen tvivler Ajder, der sporer deepfakes i naturen, desuden på, at teknologien vil blive våben til politiske formål i nogen tid. Han mener, at det mere umiddelbart vil blive et potent værktøj til cyber-stalking og mobning.

Der findes allerede nogle få metoder til at opdage deepfakes. Simple teknikker involverer at analysere dataene i en videofil eller lede efter afslørende mundbevægelser og blinke, hvilket er vanskeligere for en algoritme at fange og genskabe.

En metode, der for nylig er udviklet af en gruppe førende eksperter, involverer træning af en dyb-læringsalgoritme til at genkende den specifikke måde, en persons hoved bevæger sig på, da dette ikke er noget, som algoritmer typisk lærer.

Denne tilgang kom i stand gennem en anden indsats for at udvikle detektionsværktøjer, som bliver finansieret af Defense Advanced Research Projects Agency (DARPA).

Mange eksperter er blevet overrasket og foruroliget over den hastighed, hvormed AI-forfalskninger skrider frem. Netop i denne uge udløste en kinesisk app kaldet Zao debat ved at poste dybe falske videoer, der angiveligt er skabt ud fra et stillbillede. Hao Li , en billedkunstner og en lektor ved University of Southern California, har advaret om, at det kan være muligt at masseproducere uopdagelige deepfakes inden længe (se Verdens bedste deepfake-kunstner kæmper med det monster, han skabte).

skjule