Verdens bedste deepfake-kunstner kæmper med det monster, han skabte

Det er juni i Dalian, Kina, en by på en halvø, der stikker ud i Det Gule Hav et par hundrede kilometer fra Beijing i den ene retning og fra den nordkoreanske grænse i den anden. Hao Li står inde i en hule, kantet bygning, der nemt kan være en Bond-skurks hule. Udenfor er vejret svulmende, og sikkerheden er stram. World Economic Forums årlige konference er i byen.

I nærheden af ​​Li træder politikere og administrerende direktører fra hele verden på skift ind i en stand. Indeni griner de, mens deres ansigt forvandles til en berømt persons: Bruce Lee, Neil Armstrong eller Audrey Hepburn. Tricket sker i realtid, og det fungerer næsten upåklageligt.

Den bemærkelsesværdige ansigtsbyttemaskine blev ikke kun sat op for at aflede og underholde verdens rige og magtfulde. Li ønsker, at disse magtfulde mennesker overvejer de konsekvenser, som videoer, der er bearbejdet med AI – deepfakes – kan have for dem og for resten af ​​os.

Misinformation har længe været et populært værktøj til geopolitisk sabotage, men sociale medier har sprøjtet raketbrændstof ind i spredningen af ​​falske nyheder. Når falske videooptagelser er lige så nemme at lave som falske nyhedsartikler, er det en virtuel garanti for, at de bliver våben. Vil du påvirke et valg, ødelægge en fjendes karriere og omdømme eller udløse etnisk vold? Det er svært at forestille sig et mere effektivt køretøj end et klip udseende autentiske, spredes som en steppebrand gennem Facebook, WhatsApp eller Twitter, hurtigere end folk kan finde ud af, at de er blevet narret.

Som en pioner inden for digital falskneri bekymrer Li sig om, at deepfakes kun er begyndelsen. På trods af at han har hjulpet med at indlede en æra, hvor man ikke altid kan stole på vores øjne, ønsker han at bruge sine evner til at gøre noget ved det truende problem med allestedsnærværende, næsten perfekt videobedrag.

Spørgsmålet er, om det måske allerede er for sent?

Omskrivning af virkeligheden

Li er ikke din typiske deepfaker. Han lurer ikke på Reddit poste falsk porno eller genoptagelser af berømte film modificeret til stjerne Nicolas Cage . Han har brugt sin karriere på at udvikle banebrydende teknikker til at skabe ansigter lettere og mere overbevisende. Han har også rodet med nogle af de mest berømte ansigter i verden for moderne blockbusters, og narre millioner af mennesker til at tro på et smil eller et blink, der aldrig rent faktisk var der. Da han talte over Skype fra sit kontor i Los Angeles en eftermiddag, nævner han tilfældigt, at Will Smith stoppede for nylig til en film, han arbejder på.

Skuespillere kommer ofte til Lis laboratorium på University of Southern California (USC) for at få deres lighed digitalt scannet. De er placeret inde i en sfærisk række af lys og maskinsynskameraer for at fange formen af ​​deres ansigt, ansigtsudtryk og hudtone og tekstur ned til niveauet af individuelle porer. Et team med specialeffekter, der arbejder på en film, kan derefter manipulere scener, der allerede er optaget, eller endda tilføje en skuespiller til en ny i postproduktion.

Udlånt af Hao Li

Sådan digitalt bedrag er nu almindeligt i film med store budgetter. Baggrunde gengives ofte digitalt, og det er almindeligt, at en skuespillers ansigt klistres på en stuntpersons i en actionscene. Det har ført til nogle betagende øjeblikke for biografgængere, som da en teenageprinsesse Leia kort dukkede op i slutningen af Rogue One: A Star Wars Story , selvom skuespillerinden, der havde spillet Leia, Carrie Fisher, var næsten 60 år, da filmen blev optaget.

At få disse effekter til at se gode ud kræver normalt betydelig ekspertise og millioner af dollars. Men takket være fremskridt inden for kunstig intelligens er det nu næsten trivielt at bytte to ansigter i en video uden at bruge noget mere kraftfuldt end en bærbar computer. Med lidt ekstra knowhow kan du få en politiker, en administrerende direktør eller en personlig fjende til at sige eller gøre, hvad du vil (som i videoen øverst i historien, hvor Li kortlagde Elon Musks lighed på mit ansigt).

En historie med tricks

Personligt ser Li mere cyberpunk ud end Sunset Strip. Hans hår er barberet til en Mohawk, der falder ned på den ene side, og han har ofte en sort T-shirt og læderjakke på. Når han taler, har han en mærkelig vane med at blinke på en måde, der afslører sene nætter tilbragt i det varme skær fra en computerskærm. Han er ikke bleg for at udråbe glansen af ​​sin teknologi, eller hvad han har på vej. Under samtaler kan han lide at piske en smartphone frem for at vise dig noget nyt.

Udlånt af Hao Li

Li voksede op i Saarbrücken, Tyskland, søn af taiwanske immigranter. Han gik på en fransk-tysk gymnasieskole og lærte at tale fire sprog flydende (fransk, tysk, engelsk og mandarin). Han husker det øjeblik, hvor han besluttede at bruge sin tid på at udviske grænsen mellem virkelighed og fantasi. Det var i 1993, da han så en enorm dinosaur tømmer til syne i Steven Spielbergs Jurassic Park . Mens skuespillerne så på det computergenererede udyr, forstod Li, der dengang var 12,, hvad teknologien lige havde gjort muligt. Jeg indså, at man nu dybest set kunne skabe hvad som helst, også ting, der ikke engang eksisterer, husker han.

Li fik sin ph.d.-grad ved ETH Zürich, et prestigefyldt teknisk universitet i Schweiz, hvor en af ​​hans rådgivere husker ham som både en strålende studerende og en uforbederlig spøg. Videoer, der ledsagede akademiske artikler, omfattede nogle gange mindre end flatterende karikaturer af hans lærere.

Paul Walkers brødre leverede en skabelon til hans digitale lighed i Furious 7. Weta Digital

Kort efter at han kom til USC, skabte Li ansigtssporingsteknologi, der blev brugt til at lave en digital version af den afdøde skuespiller Paul Walker til actionfilmen Rasende 7 . Det var en stor præstation, da Walker, der døde i en bilulykke halvvejs i optagelserne, ikke var blevet scannet på forhånd, og hans karakter skulle optræde i så mange scener. Lis teknologi blev brugt til at indsætte Walkers ansigt på ligene af hans to brødre, som skiftedes til at optræde i hans sted i mere end 200 scener.

Filmen, som indtjente 1,5 milliarder dollars ved billetkontoret, var den første, der var så stærkt afhængig af en digitalt genskabt stjerne. Li nævner Walkers virtuelle rolle, når han taler om, hvor godt videotrickeri er ved at blive. Selv kan jeg ikke se, hvilke der er falske, siger han med hovedrysten.

Stort set du

I 2009, mindre end et årti før deepfakes dukkede op, udviklede Li en måde at fange en persons ansigt i realtid og bruge det til at betjene en virtuel dukke. Dette involverede at bruge de nyeste dybdesensorer og ny software til at kortlægge dette ansigt og dets udtryk til en maske lavet af deformerbart virtuelt materiale.

Et eksempel på markør-baseret ansigtssporing. Faceware-teknologier

Det vigtigste er, at tilgangen fungerede uden behov for at tilføje snesevis af bevægelsessporingsmarkører til en persons ansigt, en standard industriteknik til sporing af ansigtsbevægelser. Li bidrog til udviklingen af ​​software kaldet Faceshift, som senere ville blive kommercialiseret som en universitetsspinoff. Virksomheden blev opkøbt af Apple i 2015, og dens teknologi blev brugt til at skabe Animoji-softwaren, der lader dig forvandle dig selv til en enhjørning eller en talende bunke af afføring på de nyeste iPhones.

Li og hans elever har udgivet snesevis af artikler om emner som avatarer, der afspejler hele kroppens bevægelser, yderst realistisk virtuelt hår og simuleret hud, der strækker sig, som ægte hud gør. I de seneste år har hans gruppe trukket på fremskridt inden for maskinlæring og især deep learning, en måde at træne computere til at gøre ting ved hjælp af et stort simuleret neuralt netværk. Hans forskning er også blevet anvendt til medicin, der hjælper med at udvikle måder at spore tumorer inde i kroppen og modellere egenskaberne af knogler og væv.

I dag deler Li sin tid mellem undervisning, rådgivning for filmstudier og drift af en ny startup, Pinscreen. Virksomheden bruger mere avanceret AI, end der ligger bag deepfakes til at lave virtuelle avatarer. Dens app gør et enkelt billede til en fotorealistisk 3D-avatar på få sekunder. Den anvender maskinlæringsalgoritmer, der er blevet trænet til at kortlægge udseendet af et ansigt på en 3D-model ved hjælp af mange tusinde stillbilleder og tilsvarende 3D-scanninger. Processen er forbedret ved hjælp af såkaldte generative adversarielle netværk eller GAN'er (som ikke bruges til de fleste deepfakes). Det betyder, at én algoritme producerer falske billeder, mens en anden bedømmer, om de er falske, en proces, der gradvist forbedrer forfalskningen. Du kan få din avatar til at udføre fjollede danse og prøve forskellige outfits, og du kan styre avatarens ansigtsudtryk i realtid ved hjælp af dit eget ansigt via kameraet på din smartphone.

En tidligere ansat, Iman Sadeghi, sagsøger Pinscreen med påstand om at have forfalsket en præsentation af teknologien på SIGGRAPH-konferencen i 2017. MIT Technology Review har set breve fra flere eksperter og SIGGRAPH-arrangører, der afviser disse krav.

Pinscreen samarbejder med flere store tøjforhandlere, der ser dets teknologi som en måde at lade folk prøve tøj på uden at skulle besøge en fysisk butik. Teknologien kan også være stor til videokonferencer, virtual reality og spil. Forestil dig bare en Fortnite-karakter, der ikke kun ligner dig, men også griner og danser på samme måde.

Avatarer lavet ved hjælp af Pin Screen-appen. Udlånt af Hao Li

Under den digitale dumhed er der dog en vigtig tendens: AI gør hurtigt avanceret billedmanipulation til provinsen for smartphonen frem for skrivebordet. FaceApp , udviklet af et firma i Sankt Petersborg, Rusland, har tiltrukket millioner af brugere, og nylige kontroverser, ved at tilbyde en et-klik måde at ændre et ansigt på din telefon. Du kan tilføje et smil til et billede, fjerne pletter eller rode med din alder eller køn (eller en andens). Dusinvis flere apps tilbyder lignende manipulationer med et klik på en knap.

Ikke alle er begejstrede for udsigten til, at denne teknologi bliver allestedsnærværende. Li og andre forsøger dybest set at lave one-image, mobile og real-time deepfakes, siger Sam Gregory, direktør for Witness, en nonprofit med fokus på video og menneskerettigheder. Det er trusselsniveauet, der bekymrer mig, når det [bliver] noget, der er mindre let at kontrollere og mere tilgængeligt for en række aktører.

Heldigvis ser de fleste deepfakes stadig lidt ud. Et flimrende ansigt, et skævt øje eller en mærkelig hudtone gør dem nemme nok at få øje på. Men ligesom en ekspert kan fjerne sådanne fejl, lover fremskridt inden for kunstig intelligens at udjævne dem automatisk, hvilket gør de falske videoer både nemmere at oprette og sværere at opdage.

Selvom Li kører videre med digitalt falskeri, er han også bekymret over potentialet for skade. Vi sidder foran et problem, siger han.

Fange bedragere

Amerikanske politikere er især bekymrede over, hvordan deepfakes kan bruges til at sprede mere overbevisende falske nyheder og misinformation forud for næste års præsidentvalg. Tidligere på måneden spurgte House Intelligence Committee Facebook, Google og Twitter, hvordan de planlagde at håndtere truslen om deepfakes. Hvert firma sagde, at de arbejdede på problemet, men ingen tilbød en løsning.

DARPA, det amerikanske militærs velfinansierede forskningsagentur, er også bekymret over stigningen i digital manipulation. I 2016, før deepfakes blev en ting, lancerede DARPA et program kaldet Media Forensics, eller MediFor, for at opmuntre digitale retsmedicinske eksperter til at udvikle automatiserede værktøjer til at fange manipulerede billeder. En menneskelig ekspert kan bruge en række metoder til at spotte fotografiske forfalskninger, fra at analysere uoverensstemmelser i en fils data eller karakteristika for specifikke pixels til at jage efter fysiske uoverensstemmelser såsom en malplaceret skygge eller en usandsynlig vinkel.

MediFor er nu i høj grad fokuseret på at spotte deepfakes. Detektion er grundlæggende sværere end skabelse, fordi AI-algoritmer kan lære at skjule ting, der giver forfalskninger væk. Tidlige deepfake-detektionsmetoder omfatter sporing af unaturligt blink og mærkelige læbebevægelser. Men de seneste deepfakes har allerede lært at udjævne sådanne fejl automatisk.

Tidligere i år bad Matt Turek, DARPA-programleder for MediFor, Li om at demonstrere sine forfalskninger til MediFor-forskerne. Det førte til et samarbejde med Hany Farid, professor ved UC Berkeley og en af ​​verdens førende myndigheder inden for digital retsmedicin. Parret er nu involveret i et digitalt spil kat-og-mus, hvor Li udvikler deepfakes, som Farid kan fange, og derefter forfiner dem for at undgå opdagelse.

Farid, Li og andre for nylig udgivet et papir skitserer en ny, mere kraftfuld måde at spotte deepfakes. Det afhænger af træning af en maskinlæringsalgoritme til at genkende særhederne ved en specifik persons ansigtsudtryk og hovedbevægelser. Hvis du blot indsætter en persons lighed på et andet ansigt, overføres disse funktioner ikke. Det ville kræve en masse computerkraft og træningsdata – dvs. billeder eller video af personen – at lave en deepfake, der inkorporerer disse egenskaber. Men en dag bliver det muligt. Tekniske løsninger vil fortsat blive bedre på den defensive side, siger Turek. Men vil det være perfekt? Det tvivler jeg på.

Pixel perfekt

Tilbage i Dalian er det tydeligt, at folk begynder at vågne op til faren for deepfakes. Morgenen før jeg mødtes med Li, var en europæisk politiker trådt ind i ansigtsbyttekabinen, kun for at hans plejere skulle stoppe ham. De var bekymrede for, at systemet kunne fange hans lighed i detaljer, hvilket gjorde det lettere for nogen at lave falske klip af ham.

En Pinscreen-medarbejder demonstrerer et live face-swap-system på World Economic Forums konference i Dalian, Kina i juli. Udlånt af Hao Li

Mens han ser på folk, der bruger standen, fortæller Li mig, at der ikke er nogen teknisk grund til, at deepfakes skal kunne spores. Videoer er bare pixels med en bestemt farveværdi, siger han.

At gøre dem perfekte er kun et spørgsmål om tid og ressourcer, og som hans samarbejde med Farid viser, bliver det hele tiden nemmere. Vi er vidne til et våbenkapløb mellem digitale manipulationer og evnen til at opdage dem, siger han, med fremskridt inden for AI-baserede algoritmer, der katalyserer begge sider.

Den dårlige nyhed, mener Li, er, at han til sidst vil vinde. Om et par år, regner han med, vil uopdagelige deepfakes kunne skabes med et klik. Når det tidspunkt kommer, siger han, skal vi være opmærksomme på, at ikke alle videoer, vi ser, er sande.

skjule