Vi er oversvømmet i digitalt lys

I en bog af Pixars medstifter Alvy Ray Smith får den ydmyge pixel den opmærksomhed, den fortjener.

Ved

• Chris Turner arkiv side

27. oktober 2021

Andrea Daquino

Datalogen Alvy Ray Smith var medstifter af både Lucasfilms computergrafikafdeling og Pixar Animation Studios. Alene for disse præstationer er han en af ​​de vigtigste teknologiske innovatører i biografen siden i det mindste slutningen af ​​Anden Verdenskrig. Men Smith er ikke en Hollywood-fyr, og hans spændende, grundlæggende nye bog En biografi om pixel er ikke en Tinseltown-bog. Der er kun det mindste stykke sladder (Steve Jobs var en svær mand at arbejde sammen med— bekræftet! ), og den eneste marquee-berømthed, der optræder i Smiths historie med nogen hyppighed, er George Lucas. Smith er ikke interesseret i berømmelse. Han jagter mere dybtgående temaer og argumenterer faktisk for, at det store projekt, han var en del af - opfindelsen og udviklingen af ​​computergrafik - er langt vigtigere end noget, der nogensinde er sket i Hollywood.

Smith er det, der plejede at blive kaldt et gråskæg i computerprogrammeringskredse. Han er fra den generation af ingeniører og kodere, der så den digitale tidsalder rejse sig fra sumpene af hemmelige militærprojekter og rumprogrammet for at erobre verden. Han har talt maskinsprog. Han undrede sig over den første rå grafik, der viste bevægelse på grøn-og-sorte skærme. Og han var blandt de første til at demonstrere en stylus nyfundne evne til at spore en glat kurve af digital maling.

Denne historie var en del af vores november 2021-udgave

• Se resten af ​​problemet
• Abonner

I En biografi om pixel Smiths mål er tydeligt at fastlægge banen for to vigtige, sammenflettede historier. Den første historie er udviklingen af ​​computerbilleder, fra oprindelse til digital allestedsnærværelse. Smith fortæller, at der mangler mange navne, steder og gennembrud på pladen, og han har påtaget sig jobbet med at tilføje dem igen med en ingeniørs øje for præcision. Den anden historie, der udspiller sig parallelt, handler om virkningen af ​​disse billeder - en transformativ kraft Smith kalder Digital Light. Det omfatter stort set alt, hvad vi oplever gennem skærme, og han argumenterer overbevisende for, at det er blandt de vigtigste nyskabelser i menneskelig kommunikation, siden de første simple skildringer af dagligdagen blev ætset på hulernes vægge.

Den ydmyge pixel

Som Smith gentagne gange demonstrerer, har alt for meget æren fået lov til at glide til de individuelle geniers formodede trolddom. Virkeligheden er en mudret, overlappende historie om grupper af opfindere, der arbejder på skift i konkurrence og i samarbejde, ofte ad hoc og under betydeligt kommercielt eller politisk pres.

Thomas Edison og Frankrigs Lumière-brødre var for eksempel store fortalere og udnyttere af tidlig filmteknologi. Begge udstillede komplette systemer omkring 1895 og var glade for at kræve fuld kredit, men ingen af ​​dem byggede det første komplette system af kamera, film og projektor helt (eller endda det meste) på egen hånd. Det virkelige svar på spørgsmålet om, hvem der opfandt filmene, skriver Smith, er en brik af konkurrerende slægter, med dele af systemet udviklet af tidligere partnere til Edison og lignende dele af en håndfuld franske opfindere, der arbejdede med Lumières.

Blandt de afgørende personer, der blev henvist til historiens skraldespand, var William Kennedy Laurie Dickson (en mærkelig europæisk aristokrat, der designede og byggede det første filmkamera til Edison) og Georges Demenÿ (hvis design blev kopieret uden kredit af Lumières). Smith viser måske for meget af sit udtømmende arbejde med at redde disse indviklede oprindelseshistorier - der er på samme måde sammenfiltrede forvirringer på alle større stadier i udviklingen af ​​computere og grafik - men hans indsats for at rette den historiske rekord er beundringsværdig.

Den største ulempe ved alt dette skænderi med egoerne og griskheden hos flere generationer af kraftfulde mænd (de er desværre stort set alle mænd) er, at det nogle gange distraherer Smiths fokus fra hans større tema, som er, at det digitale lyss begyndelse repræsenterer sådanne et sjældent skift i, hvordan mennesker lever, som det fortjener at blive beskrevet som epoke.

Digital Light er i Smiths enkleste definition ethvert billede, der består af pixels. Men den tekniske sætning undervurderer den fulde betydning af det store nye fantasirige, som er blevet skabt af dets fremkomst. Det område omfatter Pixar-film, ja, men også videospil, smartphone-apps, bærbare operativsystemer, fjollede GIF'er, der handles via sociale medier, dødbringende seriøse MR-billeder gennemgået af onkologer, berøringsskærmene i den lokale købmand og de digitale modeller, der bruges til at planlægge Mars-missioner, der så sender endnu mere digitalt lys tilbage i form af kæbebilleder af den røde planets overflade.

Og det begynder knap nok at dække det hele. Et slående aspekt af Smiths bog er, at den inviterer os til at træde lige langt nok tilbage fra den konstante strøm af pixels, som mange af os bruger det meste af vores vågne timer på at se på for at se, hvilken tårnhøj teknologisk præstation og en kraftfuld kulturel kraft for alt dette digitale lys. repræsenterer.

Fourier bidrog med den indsigt, at alt, hvad vi ser, kunne beskrives som summen af ​​en række bølger. Eller, som Smith mere poetisk formulerer det: Verden er musik. Det hele er bølger.

Det teknologiske gennembrud, der gjorde alt dette muligt, er, som Smiths titel antyder, den ydmyge pixel. Ordet i sig selv er en samling af billedelementer. Simpelt nok. Men pixlen er blevet fejlkarakteriseret i populær brug for at henvise til den slørede, blokerede formodede underlegenhed af dårligt gengivet digitale billeder. Smith ønsker, at vi skal forstå, at det snarere er byggestenen i alt digitalt lys - et mirakuløst, umuligt varieret, uendeligt replikerbart stykke informationsteknologi, der bogstaveligt talt har ændret, hvordan vi ser verden.

Misforståelsen begynder, forklarer Smith, med det faktum, at en pixel ikke er en firkant, og den er ikke arrangeret sammen med andre pixels på et pænt gitter. Pixels kan gengives på skærme som sådan, men selve pixlen er et eksempel på et synsfelt ... der er blevet digitaliseret til bits. Sondringen lyder måske esoterisk, men den er afgørende for Smiths argumentation for pixlens revolutionære effekt. Pixelen er lagret information, som enhver enhed kan vise som digitalt lys. Og digitale enheder kan gøre dette, fordi pixels ikke er tilnærmelser, men omhyggeligt kalibreret prøver af et synsfelt, som er blevet oversat til digital brug til en samling af overlappende bølger. Disse pixels, skriver Smith, er ikke reduktioner af synsfeltet så meget som en ekstremt smart ompakning af uendelighed.

Den nye bølge

Processen, hvorved en pixel genererer digitalt lys – hvad enten det er i form af ord på en skærm eller et ikon på en smartphone eller en Pixar-film på storskærmen – er bygget på tre matematiske gennembrud, der går forud for den moderne computer. Den første af disse blev opnået af Jean Joseph Fourier, en fransk aristokrat og regional guvernør under Napoleon i begyndelsen af ​​1800-tallet. Fourier bidrog med den grundlæggende indsigt, at ikke bare lyd, men varme og alt, hvad vi ser og meget andet kunne beskrives som summen af ​​en række bølger, der repræsenterer forskellige frekvenser og amplituder. Eller, som Smith mere poetisk formulerer det: Verden er musik. Det hele er bølger.

Relateret historie

Pixars computergrafikpionerer har vundet Turing-prisen på 1 million dollars

Mere end et århundrede senere byggede en sovjetisk ingeniør ved navn Vladimir Kotelnikov på Fouriers bølgeprincip med det andet afgørende element for at skabe digitalt lys - Sampling Theorem. Kotelnikov demonstrerede, at et signal – hvad enten det er et stykke musik eller en visuel scene – kan fanges ved at tage snapshots (prøver) med bestemte intervaller. Tag nok prøver af et eller andet aspekt af et synsfelt – dets farvegraduering, for eksempel, eller skift fra forgrund til baggrund – og det er muligt at rekonstruere hele informationen. Smith anerkender, at amerikanske dataloger lærer, at prøvetagningssætningen stammer fra Harry Nyquist og Claude Shannon, men den store idé ... blev først klart, rent og fuldstændigt udtalt af Kotelnikov i 1933.

Det tredje element, der gjorde Digital Light muligt, er det bedst kendte og senest udviklede: Alan Turings papir fra 1936, der skitserer den universelle computermaskine, hvis store innovation var evnen til at udføre enhver systematisk proces, så længe den har det rigtige medfølgende sæt instruktioner ( som vi nu kalder software). En Turing-maskine, grundlaget for den moderne computer, kan programmeres til at forstå den proces, hvorved Fouriers bølger var blevet samplet af Kotelnikovs sætning, og til at gengive dem på enhver anden Turing-maskine. Disse tre elementer skabte sammen Digital Light.

Digitalt lys i sig selv var dog en begrænset kraft. Dens tidligste manifestationer var simple piktogrammer på den digitale hulevæg på en tv-skærm. I december 1951 viste MIT's Whirlwind-computer for eksempel en række hvide prikker på en sort skærm til CBS-programmet Se det nu , med Edward R. Murrow som vært. Prikkerne stavede Hej Mr. Murrow, langsomt falmer og derefter lysere igen , som en Lite-Brite på en lysdæmper. Klog, endda vidunderlig for sin tid, men ikke omvæltningen i kernen af ​​Smiths bog. Til det havde Digital Light brug for endnu et element: ufattelig hastighed.

Computergrafik, forklarer Smith, er bare vanvittigt lange lister af tal, der svarer til grafiske koordinater - pixels i dag, men tusinder og atter tusinder af små sammenlåste trekanter i de tidligste manifestationer - samlet i det digitale rum til den tredimensionelle form af en Pixar tegneserie. karakter eller noget andet. (Den første 3D computergrafik samlet fra disse trekanter var, berømt, en tekande.)

Den store digitale konvergens

Sådanne vidundere som 3D-animation var dog ikke mulige, før computerens processorkraft eksploderede. Smith fortæller om den efterfølgende transformation med en engagerende blanding af tekniske detaljer, dyb research og personlig erindring. Flere generationer af matematikere, kodere og laboratorierotter bidrog til udviklingen af ​​computergrafik, bygning af nye værktøjer og maskiner, da Moores lov hurtigt gjorde det lettere at omdanne Fouriers bølger og Kotelnikovs prøver til geometriske former, enkle billeder og grundlæggende bevægelser på en skærm. . Disney og Lucasfilm og Stanford University tårner sig selvfølgelig op, men det gør NASA og General Motors og Boeing (som var banebrydende for computerstøttet industrielt design), såvel som mindre kendte bistader af computergrafikgenier som University of Utah og New York Institute of Technology (NYIT).

Smiths egen overgang fra simple pixels til digitale film startede på NYIT i begyndelsen af ​​1970'erne. Der var han med til at etablere et af verdens første computergrafiklaboratorier sammen med flere af de andre medstiftere af Pixar, inden han gik videre med at introducere teknologien til Lucasfilm. (Han arbejdede på den allerførste computeranimerede sekvens, som Lucasfilm producerede, en specialeffektsekvens til filmen Star Trek II: The Wrath of Khan .)

Gennem hele rejsen forblev Smith fokuseret på den ultimative pris for at producere en digital film i fuld længde. Han ønskede, at disse værktøjer skulle bruges til at skabe stor kunst, til at give form til sindets kreative geni verden over. Pixar nåede dette mål med udgivelsen i 1995 af Toy Story , den første spillefilm, der er fuldstændig computeranimeret. Og ikke længe efter det blev en endnu mere betydningsfuld præstation nået - det afgørende øjeblik, Smith kalder den store digitale konvergens.

Det, der skete, er både nemt at forklare og svært at forstå fuldt ud. Det der skete var, at folk begyndte at rode med det.

Dette er pointen, engang omkring år 2000, hvor alle billeder (bevægende og andet) kunne være universelt repræsenteret af pixels. Stille og ubemærket, skriver han, konvergerede alle medietyper til én – det universelle digitale medie, bits.

Da jeg læste Smiths beretning om denne konvergens, kom jeg til at tænke på et berømt citat, der tilskrives den franske forfatter og filmskaber Jean Cocteau. Film bliver kun en kunst, sagde Cocteau, når dens materialer er lige så billige som en blyant og papir. Dette er til dels, hvad Smith kører efter, når han beder os om at se med ærefrygt på pixlens kraft. Og den erindring fik mig - ubønhørligt, virkelig - til at tænke på Steamed Hams-meme.

For de uindviede blev Steamed Hams født som en kort vignet i et afsnit fra syvende sæson af The Simpsons , 22 korte film om Springfield, som blev sendt første gang i 1996: Springfield Elementary Schools kedelige rektor Skinner er vært for sin chef, Superintendent Chalmers, til en frokost i hans hjem. De to minutter og 42 sekunder af vignetten udfolder sig som en eskalerende serie af mindre katastrofer, hvilket får Skinner til at snige sig til Krusty Burger og derefter hævde fastfoodmåltidet som sit eget. Efter at have lovet superintendenten dampede muslinger, dækker Skinner for sin list ved at hævde, at han faktisk havde sagt, at han lavede dampede skinker, som han foreslår er regional slang for hamburgere i upstate New York.

Det er et dumt lille udsnit fra et offbeat simpsons episode, og den fik ingen særlig opmærksomhed, før den store digitale konvergens placerede værktøjerne til digital filmproduktion i hænderne på stort set alle med en computer og en internetforbindelse. Og så er det, der skete, både nemt at forklare og svært helt at forstå. Det der skete var, at folk begyndte at rode med det.

Den kreative kraft sluppet løs

Fødslen af ​​Steamed Hams meme ser ud til at have været en kort klip fra vignetten, gengivet ved hjælp af en tekst-til-film-app og lagt på YouTube i marts 2010. I årene siden da, da de digitale værktøjer til at producere og formidle korte videoer blev forbedret med Moores lovs hæsblæsende hastighed, metastaserede memet vildt. . Klippet er blevet stablet på sig selv, YouTube-skærmen opdelt i 10 kasser, der hver spiller Steamed Hams med en kort forsinkelse, som om den bliver sunget i en omgang, indtil den opløses i brølende kakofoni. Den er blevet sat til en bred vifte af popsange - min favorit er en, hvor Auto-Tune-software (selv et produkt af konvergensen) er blevet brugt til at bøje og forvandle dialogen, så den på en eller anden måde holder sig til melodien fra Green Days hitsang Basket Case. Det er blevet lagt over forskellige videospil. En driftig Steamed Hams-fan overtalte skuespilleren Jeff Goldblum til at læse hele vignettens manuskript i sin karakteristiske diktion; det resulterende YouTube-klip skærer sagkyndigt fra Goldblums live-læsning til den originale animation, nogle gange i delt skærm. Der er en slags genindspilning af Steamed Hams, hvor en anden animator gengives hvert 13. sekund af vignetten i en helt anden stil. Dette er kun et lille udsnit af højdepunkterne. Memet er massivt.

Hvis jeg nogensinde blev bedt om at undervise en klasse i postmoderne kunst, ville jeg holde hele meme op som et signatureksempel på den svimlende kreative kraft, der blev udløst af den store digitale konvergens. Takket være værktøjer, der ikke er så meget sværere at få end en pen og blyant, er internettet nu vært for en umulig overflod af opfindsomme riffs: GIF'er og klip, supercuts og mashups, genstarter og remixes. En hel verden af ​​afslappede skabere, der laver digitale film ved hjælp af helt nye værktøjer, der allerede er blevet så almindelige, at vi næsten ikke lægger mærke til dem. Vi er hjemme i Digital Light.

Cocteaus verden af ​​allestedsnærværende filmisk skabelse, det vil sige, kan meget vel være her. Dette er, hvad Alvy Ray Smith byggede hen imod i et halvt århundrede i jagten på den første digitale film. Vi er ankommet. Vi er alle forfattere. Gå ud og leg.

Chris Turner er en forfatter og essayist baseret i Calgary, Alberta. Hans seneste bog er The Patch: The People, Pipelines and Politics of the Oilsands.

skjule