Inde i den mærkelige nye verden af ​​at være en deepfake skuespiller

Panetta og Bourgogne

I 2019 gik to multimediekunstnere, Francesca Panetta og Halsey Burgund, i gang med at forfølge en provokerende idé. Deepfake video og lyd havde udviklet sig parallelt, men var endnu ikke blevet integreret i en komplet oplevelse. Kunne de gøre det på en måde, der demonstrerede teknologiens fulde potentiale, mens de uddannede folk om, hvordan den kunne misbruges?

For at bringe eksperimentet ud i livet, valgte de et lige så provokerende emne: de ville skabe en alternativ historie om Apollo-månelandingen i 1969 . Inden lanceringen havde den amerikanske præsident Richard Nixons taleskrivere udarbejdet to versioner af hans nationale tale – en udpeget I tilfælde af månekatastrofe , hvis tingene ikke gik som planlagt. Den rigtige Nixon behøvede heldigvis aldrig at levere den. Men en deepfake Nixon kunne.

Så Panetta, den kreative direktør ved MIT's Center for Virtuality, og Burgund, en fellow ved MIT Open Documentary Lab, gik sammen med to AI-virksomheder. Canny AI ville håndtere den deepfake video, og Retaler ville forberede deepfake-lyden. Med alle de tekniske komponenter på plads manglede de lige en sidste ting: en skuespiller, der ville levere forestillingen.

Vi var nødt til at finde nogen, der var villig til at gøre det her, for det er lidt af et mærkeligt spørgsmål, siger Burgund. Nogen, der var mere fleksible i deres tænkning om, hvad en skuespiller er og gør.

Mens deepfakes nu har eksisteret i en årrække, er deepfake casting og skuespil relativt nyt. Tidlige deepfake-teknologier var ikke særlig gode, brugt primært i mørke afkroge af internettet til at bytte berømtheder ud til pornovideoer uden deres samtykke. Men efterhånden som deepfakes er blevet mere og mere realistiske, er flere og flere kunstnere og filmskabere begyndt at bruge dem i udsendelseskvalitetsproduktioner og tv-reklamer. Det betyder at ansætte rigtige skuespillere til et eller andet aspekt af forestillingen. Nogle job kræver en skuespiller til at levere basisoptagelser; andre har brug for en stemme.

For skuespillere åbner det op for spændende kreative og faglige muligheder. Men det rejser også en lang række etiske spørgsmål. Det her er så nyt, at der ikke er nogen egentlig proces eller noget lignende, siger Burgund. Jeg mener, vi fandt bare på noget og tumlede rundt.

Vil du blive Nixon?

Det første Panetta og Burgund gjorde, var at spørge begge selskaber, hvilken slags skuespiller de skulle bruge for at få deepfakes til at fungere. Det var interessant, ikke kun hvad der var de vigtige kriterier, men også hvad var det ikke , siger Burgundy.

For det visuelle er Canny AI specialiseret i videodialogerstatning, som bruger en skuespillers mundbevægelser til at manipulere en andens mund i eksisterende optagelser. Skuespilleren fungerer med andre ord som en dukkefører, der aldrig kan ses i det endelige produkt. Personens udseende, køn, alder og etnicitet betyder ikke rigtig noget.

Men for lyden sagde Respeecher, som forvandler en stemme til en anden, at det ville være lettere at arbejde med en skuespiller, der havde et register og accent, der ligner Nixons. Bevæbnet med den viden begyndte Panetta og Burgund at skrive indlæg på forskellige skuespillerfora og sende e-mail til lokale skuespillergrupper. Deres pitch: Vil du blive Nixon?

Skuespilleren Lewis D. Wheeler tilbragte dage i studiet med at træne de deepfake-algoritmer til at kortlægge hans stemme og ansigt til Nixons.

PANETTA OG BURGUNDY

Sådan befandt Lewis D. Wheeler, en Boston-baseret hvid mandlig skuespiller, sig selv inde i et studie i dagevis og lyttede til og gentog uddrag af Nixons lyd. Der var hundredvis af uddrag, hver kun et par sekunder lange, hvoraf nogle ikke engang var fuldstændige ord, siger han.

Uddragene var taget fra forskellige Nixon-taler, meget af det fra hans tilbagetræden. I betragtning af månekatastrofetalens alvorlige karakter havde Respeecher brug for træningsmateriale, der fangede den samme dystre tone.

Wheelers opgave var at genindspille hvert uddrag med sin egen stemme, der matchede den nøjagtige rytme og intonation. Disse små bidder blev derefter ført ind i Respeechers algoritme for at kortlægge hans stemme til Nixons. Det var ret udmattende og ret omhyggeligt, siger han, men virkelig interessant også at bygge det mursten for mursten.

Den sidste deepfake af Nixon, der holdt talen 'In Event of Moon Disaster'.

PANETTA OG BURGUNDY

Den visuelle del af deepfake var meget mere ligetil. I arkivoptagelserne, der ville blive manipuleret, havde Nixon leveret den rigtige månelandingsadresse rettet mod kameraet. Wheeler behøvede kun at levere sit alternativ, start til slut, på samme måde, for at produktionsholdet kunne fange hans mundbevægelser i den rigtige vinkel.

Det var her, han som skuespiller begyndte at finde tingene mere velkendte. I sidste ende ville hans præstation være den ene del af ham, der ville gøre det til den sidste deepfake. Det var det mest udfordrende og mest givende, siger han. For det var jeg nødt til virkelig at sætte mig ind i tankegangen om, okay, hvad handler denne tale om? Hvordan fortæller man det amerikanske folk, at denne tragedie er sket?

Hvordan har vi det?

På forsiden af ​​det, Zach Math, en filmproducent og instruktør , arbejdede på et lignende projekt. Han var blevet hyret af Mischief USA, et kreativt bureau, til at instruere et par annoncer til en stemmeretskampagne. Annoncerne ville indeholde dybt forfalskede versioner af den nordkoreanske leder Kim Jong-un og den russiske præsident Vladimir Putin. Men han endte midt i noget meget andet end Panetta og Burgunds eksperiment.

I samråd med en deepfake kunstner, John Lee, havde teamet valgt at gå ansigtsbytteruten med open source-softwaren DeepFaceLab . Det betød, at den endelige annonce ville omfatte skuespillernes kroppe, så de var nødt til at caste troværdige body doubles.

Annoncen vil også inkludere skuespillernes rigtige stemmer, hvilket tilføjer en ekstra casting-overvejelse. Holdet ønskede, at de deepfake-ledere skulle tale på engelsk, dog med autentiske nordkoreanske og russiske accenter. Så castingdirektøren gik på jagt efter mandlige skuespillere, der lignede hver enkelt leder i bygning og ansigtsstruktur, matchede deres etnicitet og kunne lave overbevisende stemmeefterligninger.

Processen med at træne DeepFaceLab til at generere Kim Jong-uns ansigt.

SKADE USA

For Putin var casting-processen relativt let. Der er en overflod af tilgængelige optagelser af Putin, der leverer forskellige taler, og forsyner algoritmen med masser af træningsdata til at deepfake hans ansigt og lave en række udtryk. Derfor var der mere fleksibilitet i, hvordan skuespilleren kunne se ud, fordi deepfake kunne klare det meste af arbejdet.

Men for Kim viste de fleste af de tilgængelige videoer ham iført briller, hvilket tilslørede hans ansigt og fik algoritmen til at bryde sammen. Indsnævring af træningsoptagelserne til kun videoer uden briller gav langt færre træningsprøver at lære af. Den resulterende deepfake lignede stadig Kim, men hans ansigtsbevægelser så mindre naturlige ud. Ansigtsskiftet til en skuespiller, dæmpede det skuespillerens udtryk.

For at modvirke det begyndte holdet at køre alle skuespillernes casting-bånd gennem DeepFaceLab for at se, hvilken der kom til at se mest overbevisende ud. Til deres overraskelse lignede vinderen Kim mindst fysisk, men havde den mest udtryksfulde præstation.

Skuespilleren, der blev valgt til at spille Kim Jong-un, havde den mindste fysiske lighed med diktatoren, men den mest udtryksfulde præstation.

For at løse de aspekter af Kims udseende, som den dybe falske ikke kunne kopiere, stolede holdet på makeup, kostumer og post-produktionsarbejde. Skuespilleren var for eksempel slankere end Kim, så de fik ham iført et fedt jakkesæt.

Når det kom til at bedømme kvaliteten af ​​deepfake, siger Math, handlede det mindre om de visuelle detaljer og mere om oplevelsen. Det var aldrig ’Ser det øre mærkeligt ud?’ Jeg mener, der var de diskussioner, siger han. Men det var altid sådan: 'Læn dig tilbage - hvordan har vi det?'

De fungerede effektivt som et menneskeligt skjold

På nogle måder er der lille forskel mellem deepfake-skuespil og CGI-skuespil, eller måske stemmeskuespil til en tegneserie. Din lighed kommer ikke med i den endelige produktion, men resultatet har stadig din signatur og fortolkning. Men deepfake casting kan også gå den anden vej, med en persons ansigt byttet ud med en andens præstation.

At gøre denne form for falsk overbevisende var opgaven for Ryan Laney, en billedkunstner, der arbejdede på HBO-dokumentaren fra 2020 Velkommen til Tjetjenien . Filmen følger aktivister, der risikerer deres liv for at bekæmpe forfølgelsen af ​​LGBTQ-personer i den russiske republik. Mange af dem lever i hemmelighed af frygt for tortur og henrettelse.

For at fortælle deres historier lovede instruktør David France at beskytte deres identiteter, men han ønskede at gøre det uden at miste deres menneskelighed. Efter at have afprøvet adskillige løsninger, landede hans team endelig på deepfakes. Han samarbejdede med Laney, som udviklede en algoritme, der lagde det ene ansigt over på det andet, mens han bibeholdt sidstnævntes udtryk.

Til venstre: Maxim Lapunov, hovedpersonen i dokumentaren, der bliver offentligt halvvejs gennem filmen. Til højre: en latino LGBTQ-aktivist, der meldte sig frivilligt til at være Maxims skjold.

DINE MEDIER

Castingprocessen var således ikke en søgen efter kunstnere, men efter 23 personer, der ville være villige til at låne deres ansigter. Frankrig bad i sidste ende LGBTQ-aktivister om at melde sig frivilligt som cover. Han kom ikke ud fra, hvem der er den bedste skuespiller, men hvem der er de mennesker, der er interesseret i sagen, siger Laney, fordi de effektivt fungerede som et menneskeligt skjold.

Holdet spejdede aktivisterne gennem begivenheder og Instagram-opslag, baseret på deres udseende. Hvert dækansigt skulle se tilstrækkeligt forskelligt ud fra den person, der blev maskeret, samtidig med at det var på linje med visse karakteristika. Ansigtshår, kæbelinjer og næselængde skulle for eksempel nogenlunde matche, og hvert par skulle være omtrent lige gamle, for at dækpersonens ansigt kunne se naturligt ud på det originale motivs krop.

Til venstre: Maxims afmaskede ansigt. Til højre: Maxim med sit deepfake cover.

DINE MEDIER

Holdet matchede dog ikke altid etnicitet eller køn. Hovedpersonen, Maxim Lapunov, som er hvid, blev skærmet af en latino-aktivist, og en kvindelig karakter blev skærmet af en aktivist, der ikke er kønskonform.

Gennem hele processen sørgede Frankrig og Laney for at få fuldt informeret samtykke fra alle parter. Filmens emner nåede faktisk at se på værket, før David udgav det, siger Laney. Alle skulle skrive under på deres eget cover for at sikre, at de følte sig godt tilpas.

Det får bare folk til at tænke

Mens professionaliserede deepfakes har rykket grænserne for kunst og kreativitet, rejser deres eksistens også vanskelige etiske spørgsmål. Der er i øjeblikket ingen rigtige retningslinjer for, hvordan man for eksempel mærker deepfakes, eller hvor grænsen går mellem satire og misinformation.

For nu stoler kunstnere og filmskabere på en personlig følelse af rigtigt og forkert. Frankrig og Laney tilføjede for eksempel en ansvarsfraskrivelse i starten af ​​dokumentaren, hvori det stod, at nogle karakterer var blevet digitalt forklædt for deres beskyttelse. De tilføjede også bløde kanter til de maskerede individer for at differentiere dem. Vi ville ikke skjule nogen uden at fortælle det til publikum, siger Laney.

Stephanie Lepp, en kunstner og producer, der laver deepfakes til politiske kommentarer, markerer på samme måde sine videoer på forhånd for at gøre det klart, at de er falske. I hendes serie Dybe opgørelser , som forestiller magtfulde skikkelser som Mark Zuckerberg, der undskylder for deres handlinger, brugte hun også stemmeskuespillere i stedet for deepfake lyd til yderligere at skelne projektet som satirisk og ikke vildledende.

Andre projekter har været mere kedelige, såsom dem af Barnaby Francis, en kunstner-aktivist, der arbejder under pseudonymet Bill Posters. Gennem årene har Francis deepfakede politikere som Boris Johnson og berømtheder kan lide Kim Kardashian , alt sammen i uddannelsens og satirens navn. Nogle af videoerne er dog kun mærket eksternt - for eksempel i billedteksten, når Francis poster dem på Instagram. Trækket ud af den sammenhæng risikerer de at sløre kunst og virkelighed, hvilket nogle gange har ført ham ind skævt territorium .

Se dette opslag på Instagram

'When there's so many haters...' (2019) Dette dybt falske bevægelige billede er fra serien 'Big Dada', en del af 'Spectre'-projektet. Hvor big data, AI, dada og konceptuel kunst kombineres. .Kunstværker af Bill Posters & @danyelhau #spectreknows #deepfake #deepfakes #contemporaryartwork #digitalart #generativeart #newmediaart #codeart #contemporaryart

Et opslag delt af Bill plakater (@bill_posters_uk) den 1. juni 2019 kl. 03:47 PDT

Se dette opslag på Instagram

I dag har jeg udgivet en ny serie af #deepfake-kunstværker med @futureadvocacy for at øge bevidstheden om manglen på regulering vedrørende misinformation online. Disse 'delvis politiske' udsendelser ser den britiske premierminister Boris Johnson og oppositionsleder Jeremy Corbyn dybt forfalsket for at sende en advarsel til alle regeringer angående desinformation online. Til denne indgriben har vi brugt de biometriske data fra berømte britiske politikere til at udfordre det faktum, at uden større kontrol og beskyttelse vedrørende persondata og kraftfulde nye teknologier udgør misinformation en direkte risiko for alles menneskerettigheder, inklusive rettighederne for dem i positioner som strøm. Det er svimlende, at anbefalingerne fra DCMS Select Committee-undersøgelsen af ​​falske nyheder eller Information Commissioner's Office-undersøgelsen af ​​Cambridge Analytica-skandalerne ikke er blevet anvendt til at ændre britiske love for at beskytte vores frihed og demokrati efter 3 år. Som et resultat heraf er betingelserne for, at beregningsmæssige former for propaganda og misinformationskampagner kan forstærkes af sociale medieplatforme, stadig i kraft i dag. Vi opfordrer alle britiske politiske partier til at anvende parlamenternes egne resultater og sikre fremtidige valg. På trods af endeløse advarsler gennem de sidste par år, har politikere kollektivt undladt at tage fat på spørgsmålet om desinformation online. I stedet har svaret været at udsætte teknologivirksomhederne til at gøre mere. Ansvaret for at beskytte vores demokrati ligger i korridorerne i Westminster og ikke i bestyrelseslokalerne i Silicon Valley. Se de fulde videoer på min hjemmeside! [LINK I BIO] #deepfakes #newmediaart #ukelection #misinformation

Et opslag delt af Bill plakater (@bill_posters_uk) den 11. november 2019 kl. 23:55 PST

Der er også få regler omkring, hvis billeder og tale kan manipuleres - og få beskyttelser for skuespillere bag kulisserne. Hidtil har de fleste professionaliserede deepfakes været baseret på kendte personer og lavet med klare, konstruktive mål, så de er juridisk beskyttet i USA under satirelovgivningen. I tilfældet med Mischiefs Putin og Kim deepfakes, er skuespillerne dog forblevet anonyme af personlige sikkerhedsmæssige årsager, sagde holdet, på grund af den kontroversielle karakter af at manipulere billeder af diktatorer.

Ved at vide, hvordan amatør-deepfakes er blevet brugt til at misbruge, manipulere og chikanere kvinder, er nogle skabere også bekymrede for den retning, tingene kunne gå. Der er mange mennesker, der kommer med på vognen, som ikke rigtig er etisk eller moralsk bekymrede over, hvem deres klienter er, hvor det kan forekomme, og i hvilken form, siger Francis.

På trods af disse svære spørgsmål er mange kunstnere og filmskabere overbevist om, at deepfakes burde være kommet for at blive. Etisk brugt udvider teknologien mulighederne for kunst og kritik, provokation og overtalelse. Det får bare folk til at tænke, siger Francis. Det er den perfekte kunstform til den slags absurdistiske, næsten surrealistiske tider, som vi oplever.

skjule