Hollywoods nye ansigt

På toppen af ​​et forhøjet tog, der kører gennem Downtown, er den maskerede mand i det røde og blå jakkesæt i problemer.

Ikke alene kæmper han mod en gal videnskabsmand, der forsøger at dræbe ham med robottentakler, men han skal også redde passagererne på toget. Det er alt sammen i en dags arbejde for superhelten Peter Parker, også kendt som Spider-Man - men det betyder måneders arbejde for et elitehold af grafikguruer.

Denne historie var en del af vores september-udgave fra 2004

• Se resten af ​​problemet
• Abonner

Denne actionsekvens fra megahittet Spider-Man 2 har blændet millioner af biografgængere denne sommer. Se nærmere på skurken, Doctor Octopus (spillet af skuespilleren Alfred Molina), og du vil se ham grine manisk og råbe, mens han ambulerer langs toppen og siderne af toget. Senere i scenen mister Spider-Man (Tobey Maguire) sin maske, da han spænder op mod fronten af ​​toget, hvilket bringer den skrigende i stå. Hans hektiske ansigtsudtryk virker overbevisende naturlige.

Med al den hurtige krydsklipning mellem billeder af superhelte og skurke, har publikum nok ikke mistanke om, at de ansigter og figurer, der vises på skærmen meget af tiden, ikke er den ægte vare. De er snarere digitale sammenkogter skabt inde i en computer hos Sony Pictures Imageworks i Culver City, CA.

Vi er nået til et punkt, hvor vi kan gøre hver eneste ting computergenereret. Alt fra det knuste glas i toget til alle bygninger, spor og mennesker, siger Mark Sagar, grafisk supervisor på Spider-Man 2 og Imageworks’ hjemmehørende ekspert i digitale menneskeansigter. Han peger på togsekvensen, mens den afspilles på hans computerskærm. Se, hvad kameraet gør. Her går det stærkt langs toget, så under de optrædende, så foran dem, så et bredt skud. Hvordan kunne du gøre det med et rigtigt kamera? Men de digitale ansigter på folket er den sidste, afgørende brik i dette puslespil. Tidligere krævede det at splejse optagelser af rigtige skuespillere til en digital scene rigtige kameraer, vanskeligt stuntarbejde og justeringer for at få udseendet af de rigtige og digitale billeder til at matche; evnen til at gøre computergenereret alt, inklusive menneskelige ansigter, åbner et væld af kreative muligheder.

Fotorealistiske digitale ansigter - dem, der kan passere for alvor i stillbilleder eller på den store skærm - er blandt computergrafikkens sidste grænser. Indtil for nylig har digitale ansigter set falske ud, når de blev undersøgt nøje og er derfor blevet henvist til hurtige klip og baggrundsbilleder. Problemet er, at vi er ekstraordinært følsomme over for, hvordan menneskelige ansigter skal se ud; det er meget lettere at narre folk med en computergenereret T. rex end med et digitalt menneske. Men fremskridt inden for gengivelse af hud, belysning af digitale scener og analyse af optagelser af rigtige skuespillere til reference, giver nu kunstnere og programmører mulighed for at kontrollere teksturen og bevægelsen af ​​hver lille plet af pixels i et computerstyret ansigt. Sony-teamet håber, at publikum ikke vil være i stand til at kende forskel på Tobey Maguire og hans digitale double - måske første gang, en sådan sandsynlighed er blevet opnået.

Indsatsen er enorm. Digitale effekter er en milliardforretning og vokser hurtigt; i disse dage kan en typisk blockbuster-films budget være på 150 millioner dollars, hvoraf halvdelen går til effektvirksomheder. Spider-Man 2 er faktisk kun et eksempel på Hollywoods stigende brug af banebrydende grafikforskning til at skabe bedre digitale skuespillere, fra stuntdouble af Neo og mængden af ​​Agent Smiths i Matrix-filmene til Gollum i Ringenes Herre-serien . Det er nået til det punkt, hvor industrien joker med at erstatte skuespillere med computere (præmissen for 2002-filmen S1m0ne). Og Sony Pictures Imageworks, der blev grundlagt i 1992 og med mere end 40 spillefilm på æren, er i front for effekthuse, der kæmper om store studiers forretning (se Making Faces,).

Men den virkelige fordel ved digitale skuespillere er ikke at erstatte de levende: det leverer scener, der tager seerne til steder, hvor ingen rigtig skuespiller eller kameraopsætning kunne tage hen. Det giver instruktører mere fleksibilitet, og det giver dem mulighed for at udføre handlinger, de ikke kan gøre med rigtige stuntmennesker, siger Scott Stokdyk, supervisor for visuelle effekter hos Imageworks med ansvar for Spider-Man-serien. Tidligere har instruktører og redaktører stort set masseret snittet omkring forskellige hurtige handlinger og kameravinkler for at formidle en historie, siger Stokdyk. Nu har de ikke den slags grænser. Således befriet kan instruktører følge syntetiske skuespillere, mens de snurrer rundt om skyskrabere og undviger kugler i fejende slowmotion. Desuden kan skuespillere blive digitalt ældet eller afældet uden at skulle bruge timer på makeup. Forlængst afdøde filmstjerner kunne endda genopstå digitalt.

Og film er kun begyndelsen. Teknikker til at skabe digitale mennesker skubber den bredere grænse for computergrafik og -grænseflader. Disse bestræbelser kunne muliggøre slående realistiske medicinske træningssimuleringer, naturtro avatarer til e-mail og internet-chatrum og snart meget mere overbevisende karakterer i spil og interaktive film. Teknologien, siger Sagar, er helt klar til bedste sendetid.

Virtuelt syn

Mark Sagar har altid været splittet mellem kunst og videnskab. Efter college brugte han tre år på at rejse verden rundt og tegne portrætter for at leve af. Men teknologiens tovtrækkeri fik ham til at vende tilbage til kandidatskolen i sit hjemland, New Zealand, for at studere ingeniør. Jeg troede aldrig, at jeg ville bruge år af mit liv på at studere det menneskelige ansigt, indrømmer han, mens han sidder på sit kontor hos Imageworks, omgivet af bøger og papirer om visuel perception.

At høre Sagar beskrive det menneskelige ansigt som en multikanals signaleringsenhed tyder på, at den videnskabelige og ingeniørmæssige side af ham har vundet frem. At forstå videnskaben bag ansigter, siger han, gør ham i stand til at få en digital karakters budskab til at komme mere effektivt igennem på skærmen. Udtryk som nedslåede øjne, et rynket øjenbryn eller en krøllet læbe angiver en persons følelsesmæssige tilstand og giver fingerpeg om hans eller hendes hensigt.

Sagars vej til Hollywood åbnede næsten ved et uheld. I midten af ​​1990'erne udviklede han som kandidatstuderende ved University of Auckland og som postdoc ved MIT computersimuleringer af det menneskelige øje og ansigt, der kunne hjælpe læger under uddannelse med at lære kirurgiske teknikker. Hans simuleringer så så virkelige ud, at et hold af dot-com-iværksættere overbeviste ham om at være med til at stifte en grafisk startup kaldet LifeFX i Newton, MA. Dens mission: kommercialisere software, som alle fra filmskabere til web-virksomheder og e-mail-udbydere kan bruge til at producere fotorealistiske ligheder med mennesker.

Sagar blev hurtigt en førende autoritet inden for digitale ansigter til underholdning. I 1999 kom han til Los Angeles for at arbejde videre

computergenererede ansigtsanimationer til film, herunder en af ​​skuespilleren Jim Carrey. Paul Debevec, en grafikforsker, der skabte sit navn ved at skabe virtuelle miljøer og fremme digitale lysteknikker, så Sagars film på en konference og var fascineret: han havde aldrig set falske ansigter, der så så overbevisende ud på tæt hold. Det var det øjeblik, der fik mig til at krydse tærsklen til virkelig at tro, at et fotorealistisk computergrafik-ansigt ville ske i de næste fem år, siger Debevec, som nu er på Institute for Creative Technologies ved University of Southern California (se Hollywoods Master of Light, TR marts 2004).

De to videnskabsmænd indledte et samarbejde ved at bruge Debevecs belysningsteknikker til at gengive Sagars digitale ansigter - en kombination, der hurtigt slyngede dem frem i feltet. Det viser sig, at hvis du forsøger at simulere et ansigt, er det en stor sag at få den rigtige belysning. I modsætning til tidligere computersimuleringer, der så mærkelige ud i forskellige sammenhænge og skulle justeres ved forsøg og fejl, kunne Sagar og Debevecs ansigter skræddersyes til at matche belysningen i enhver scene. Det er fordi de blev bygget ved hjælp af en rig database med rigtige ansigter fotograferet fra forskellige vinkler og oplyst af mange forskellige kombinationer af lys. Da LifeFX foldede sig i 2002, snuppede Imageworks Sagar specifikt for hans ekspertise inden for ansigter.

Han begyndte straks at arbejde på den første spillefilmstest af disse teknikker: Spider-Man 2. Actionscenerne i filmen krævede detaljerede og udtryksfulde simuleringer af kendte skuespilleres ansigter – et særligt hårdt problem, siger Sagar. Ikke alene er publikum hurtige til at afvise ersatz menneskelige ansigter generelt, men de er særligt følsomme over for ansigter, de genkender; enhver uoverensstemmelse mellem digital og reel kan opfattes som falsk. For at få simuleringerne til at fungere, havde forskerne brug for masser af referenceoptagelser af de rigtige aktører under forskellige lysforhold.

Så Maguire og Molina tilbragte hver en dag i Debevecs laboratorium. Overvåget af forskningsprogrammør Tim Hawkins sad de i et særligt apparat kaldet en lysscene, mens fire still-kameraer fangede hundredvis af billeder af deres hoveder og ansigter, der lavede en række udtryk og blev oplyst af strober fra alle mulige vinkler. Skuespillerne fik også lavet laserscanninger og gipsafstøbninger af deres hoveder og ansigter, så højopløselige digitale 3-D-modeller af deres ligheder kunne bygges på computere.

Hos Imageworks skrev Sagar og hans team brugervenlig software, så snesevis af kunstnere kunne bruge gigabytes af billeddata uden at blive hængende i tekniske detaljer. For at få togsekvensen til at se rigtig ud, kombinerede Sagars software for eksempel billeder fra Debevecs opsætning til kompositter, der matchede den virkelige belysning på filmsettet, og kortlagde derefter kompositterne på 3-D computermodeller af skuespillerne. For at få ansigterne til at bevæge sig manipulerede animatorer modellerne billede for billede ved at bruge eksisterende billeder og video af skuespillerne som en grov guide. Softwaren beregnede lysændringer baseret på, hvordan ansigtsmodellerne deformerede – og oplyste den digitale hud i overensstemmelse hermed. Resultatet: syntetiske skuespillere, der ligner Maguire og Molina (sammen med dem af kød og blod), zoomer gennem luften, rundt om skyskrabere, over tog og under vandet, mens de hele tiden føler følelser.

Imageworks er et glimrende eksempel på, hvordan effekthuse integrerer ny forskning i deres produktionspipelines hurtigere, end de gjorde for blot et par år siden. (Selvom publikum kan blive imponeret over, hvad der har vist sig på multiplexet på det seneste, ændrede den grundlæggende grafikteknologi i film sig ikke meget i 1990'erne.) Før var der en meget lang forsinkelse. Noget ville blive udviklet, og så ville man vente ti år på, at et softwarefirma kommercialiserede det, siger J. P. Lewis, ekspert i grafik og animation ved University of Southern California's Computer Graphics and Immersive Technology-laboratorium. Nu tror jeg, at virksomheder er meget mere opmærksomme på forskning, og de har en tendens til at hoppe på det meget hurtigere.

En tur gennem de mørklagte gange i Imageworks dette forår får holdet i gang med at lægge sidste hånd på de mere end 800 effektbilleder til Spider-Man 2. Det er en ung, hip skare, der har moderigtige briller og fremviser erindringer fra filmen på deres skriveborde. – fotos, actionfigurer, en cast af Tobey Maguires ansigt. Den dag, han afsender sit sidste skud til filmen, beklager Stokdyk, visuel effekt-vejleder, at der ikke er mere tid. Den største udfordring, siger han, var at blande Molinas nogle gange ægte, nogle gange digitale, ansigt med hans Doc Ock-kostume og omgivelser i tegneseriestil. At matche virkeligheden, sukker han, er næsten umuligt.

Sæt dit spil ansigt på

Faktisk, på trods af de millioner af dollars, der kastes på problemet, har digitale menneskelige ansigter stadig en vej at gå. Det, der mangler at blive gjort, kan virke som trinvise trin – at gøre øjenbevægelser mindre robotiske, at fange ændringer i blodgennemstrømningen, så kinder skyller ud, få huden til at rynke på den rigtige måde under et smil – men de lægger op. De sidste 20 procent kunne tage 80 procent af vores tid at få ret – men vi er helt klart i de sidste 20 procent, siger Darin Grant, direktør for teknologi hos Digital Domain i Venedig, Californien, som lavede karakteranimationer til sommerens I, Robot.

I sidste ende vil det kommercielle publikum afgøre værdien af ​​disse digitale doubler. Den ultimative test af, hvad vi gør, er, hvordan det ser ud på skærmen, og hvordan det oversættes til produktion, siger Grant. Hans kollega Brad Parker, supervisor og direktør for visuelle effekter hos Digital Domain, hævder, at digitale mennesker vil betale stigende udbytte for filmskabere - og for det grafiske samfund. Det er en stor ting, siger han. Den kombinerer alt, hvad der er svært ved computergrafik.

Hvorfor det er så svært et problem - præcis hvad vores øjne registrerer som forkert i et digitalt menneske - er endnu ikke godt forstået. Men University of Southern Californias grafikforskere Lewis og Ulrich Neumann forsøger at finde ud af. I de seneste eksperimenter viste deres gruppe glimt af rigtige og digitale ansigter til frivillige for at se, om de kunne kende forskel. Resultaterne var slående – og frustrerende. Vi brugte et år på at arbejde på disse ansigter, men vi kunne ikke narre folk i et kvart sekund, siger Lewis. Han forudsiger, at dette arbejde vil føre til statistiske modeller af, hvordan virkelige menneskelige ansigter opfører sig, hvilket igen vil give softwareværktøjer, som kunstnere kan bruge til at få karakterer til at bevæge øjnene lige så eller ændre udtryk på andre subtile måder, der kunne være afgørende for troværdigheden.

Sådanne fremskridt burde have en dramatisk effekt. Siger Steve Sullivan, direktør for forskning og udvikling hos Industrial Light and Magic i San Rafael, Californien: Vi vil sandsynligvis se tilbage om 10 år og synes, at nutidens digitale doubler ser forfærdeligt primitive ud.

Og det bliver ikke kun film, der får et ansigtsløft. De samme grafiske simuleringsværktøjer, som filmskabere begynder at mestre, vil også hjælpe med at brænde det næste store marked for digitale ansigter: videospil. Dagens spil kan prale af blændende skabninger og landskaber, men deres menneskelige karakterer er ikke engang tæt på at være fotorealistiske. Det er bare ikke praktisk at programmere i alle betragtningsvinkler og udtryk, der kan opstå i løbet af et interaktivt spil på flere niveauer.

Det er her, George Borshukov kommer ind i billedet. Borshukov, en datalog, der har designet avancerede digitale mennesker til Matrix-filmene (alle Smiths i Reloaded og Revolutions er hans teams), anvender nu ansigtsteknologi til spil. En tidligere teknologisupervisor hos ESC Entertainment i Alameda, Californien, Borshukov flyttede for nylig til videospilkraftværket Electronic Arts i Redwood City, Californien. Han siger, at næste generations gaming-hardware vil være tæt på at demonstrere teknikker til fotorealistiske ansigter i realtid, men at der vil være behov for afvejninger, tilnærmelser og datakomprimering for at få det til at ske.

Problemet er, at med spil skal alt ske på et øjeblik. Alligevel tager det stadig et par timer at gengive en enkelt frame af nutidens bedste digitale ansigter. Det er brugbart, hvis du har måneder til at producere scenerne, som i en film. I et spil eller en interaktiv film eksisterer det pågældende billede muligvis ikke, før brugeren bestiller det med et tryk på et joystick. At gøre dette praktisk vil kræve software, der er tusindvis af gange hurtigere.

Fem år senere, siger eksperter, kunne en hybrid mellem et spil og en film give seere/spillere mulighed for at designe og instruere deres egne film og endda sætte sig selv ind i handlingen. Du kan først caste filmen ved at scanne billeder af rigtige mennesker - dig og dine venner, for eksempel - og køre software, der ville skabe fotorealistiske 3-D-modeller af disse mennesker. Derefter kunne du i realtid instruere filmens handling via en håndholdt controller eller tastatur - alt fra at zoome kameraet rundt om karaktererne til at få hovedrolleindehaveren til at løbe i en bestemt retning. Interaktiv underholdning, siger Borshukov, er dér, hvor den virkelige fremtid er.

At se fremtiden i øjnene

Tilbage hos Imageworks hvirvler en storm af aktivitet omkring Mark Sagar. Kunstnere er i gang med endnu et digitalt skuespillerprojekt, efterårets The Polar Express, baseret på den populære børnebog. Men Sagar, som ikke er direkte involveret i den indsats, er fascineret af det, der er længere nede af vejen - en mere elegant tilgang til digitale ansigter baseret på underliggende videnskabelige principper. Jeg ser dagens arbejde som en mellemfase, hvor vi stadig skal fange en masse data, siger han. Til sidst vil alt bruge matematiske modeller for, hvordan ting bevæger sig, og hvordan de reflekterer lys.

Sagar ser også meget bredere anvendelser af digitale mennesker i medicinsk grafik, kooperativ træningssimuleringer for redningsarbejdere og menneske-computer-grænseflader, der kan hjælpe brugere med at kommunikere mere effektivt med både maskiner og andre mennesker. Uden for underholdningsindustrien forfølger store organisationer som Microsoft og Honda forskning i avanceret grafik og menneskelig modellering, herunder software, der kan give dig mulighed for at skabe realistiske virtuelle karakterer og digitale avatarer baseret på blot et foto. Relaterede algoritmer kan også hjælpe computere med at genkende ansigter og fortolke udtryk, enten af ​​sikkerhedsmæssige årsager eller for at forudsige en brugers behov.

Vi er i en interessant alder, når vi begynder at kunne simulere mennesker ned til mindste detalje, siger Sagar. Der er en vis ironi i hans udtalelse. For når først digitale mennesker er gjort rigtigt, vil de ikke kunne skelnes fra den ægte vare; publikum vil ikke engang indse, at kunstnere og videnskabsmænd som Sagar har ændret underholdningens - og samfundets ansigt.

Gregory T. Huang er associeret redaktør for TR.

skjule