Foto Fremtid

En sommerdag i 1826, på sin landejendom omkring 340 kilometer sydøst for Paris, opsatte Joseph Nicéphore Niépce sit camera obscura og projicerede billedet af sin gårdhave på en tinplade belagt med et lysfølsomt materiale. I otte timer fokuserede linsen lyset fra solen og fikserede kemisk de områder, hvor lyset ramte pladen, for at fange udsigten til et duehus, et pæretræ, et staldtag og en forlænget fløj af hans hus. For denne præstation er Niépce krediteret for at skabe verdens første fotografi.

Tin og andre massive plader gav plads til fleksible ruller film i 1889; farvefilm fulgte i midten af ​​1930'erne. I midten af ​​1990'erne blev de første massemarkedsfarvedigitalkameraer introduceret, som optog billeder med lyssensorer på en chip. Disse fremskridt har ført til billigere, mindre, mere bærbare kameraer, der kan producere levende billeder. Men på det mest fundamentale niveau er kameraer ikke blevet ændret væsentligt, siger Ramesh Raskar, lektor og leder af Camera Culture-gruppen ved MIT Media Lab. Selve den fysiske enhed har næsten ikke ændret sig i løbet af de sidste 100 år, siger han. Du har en lignende linse, en lignende boks, der efterligner det menneskelige øje. Bortset fra det faktum, at det er billigere, hurtigere og mere bekvemt, har fotografering ikke ændret sig så meget.

Denne historie var en del af vores maj 2009-udgave

• Se resten af ​​problemet
• Abonner

Raskar håber dog, at han og andre på MIT og rundt omkring i verden kan udløse en revolution inden for fotografering. Forskere inden for et felt kaldet computerfotografering nytænker digitale kameraer for bedre at drage fordel af de indbyggede computere. De forestiller sig en dag, hvor alle kan bruge et kamera med en lille, billig linse til at tage den type fantastiske billeder, som i dag kun er opnåelige af professionelle fotografer, der bruger avanceret udstyr og software som Adobe Photoshop. Faktisk tror de, at sådanne kameraer kan overskride nutidens mest sofistikerede teknologier og overvinde, hvad der har virket som fundamentale grænser.

Beregningsfotografering omfatter nye designs til optiske komponenter og kamerahardware samt nye algoritmer til billedanalyse. Målet, siger Raskar, er at bygge kameraer, der kan optage, hvad øjet ser, ikke kun hvad linsen og sensoren er i stand til at fange. Hvis man er i en rutsjebane, kan man aldrig få et godt billede, siger han. Hvis du er til en fantastisk middag, kan du aldrig tage billeder, der får maden til at se appetitlig ud. Men med beregningsteknikker kunne kameraer fjerne sløring fra et øjebliksbillede taget på en ujævn tur i forlystelsesparken. Sådanne kameraer kunne også fange mads subtile former og skygger og folks smil i det svage lys af en middag med levende lys – uden en lang eksponeringstid, som uvægerligt producerer slørede billeder, eller brugen af ​​en forstyrrende blitz.

Sidebar: Rejsen fra laboratorium til marked

Desuden kunne computerfotografering gøre det nemt for amatørfotografer at skabe billeder, der i dag kræver specialiserede og tidskrævende efterbehandlingsteknikker. Selv mobiltelefonkameraer, som har billige faste linser, kunne give amatører den samme form for kontrol over fokusering, som professionelle har med et avanceret single-lens reflex (SLR) kamera.

Alle kameraer fungerer på den samme grundlæggende måde: lys kommer ind gennem en fokuseringslinse og passerer gennem en blænde. I et traditionelt kamera rammer lyset fotoreaktive kemikalier på film eller plader. I et digitalkamera passerer lyset gennem farveadskillende filtre og lander på en række fotosensorer, som hver repræsenterer en pixel. Når lys rammer en fotosensor, producerer det en elektrisk strøm, hvis styrke afspejler lysets intensitet. Strømmen konverteres til digital 1'er og 0 s, som kameraets processor (en computerchip) derefter konverterer til det billede, der vises på kameraets forhåndsvisningsskærm og er gemt på et flashhukommelseskort eller en intern harddisk.

Når billeder optages som digitale bidder af information, kan de forbedres med software, hvilket åbner op for en helt ny verden af ​​muligheder. I de sidste 15 år eller deromkring, siger Raskar, har forskere arbejdet på at udnytte disse muligheder fuldt ud, især gennem nye billedbehandlingsalgoritmer, der låner fra de traditionelt adskilte områder computersyn og computergrafik. Computervision gør det muligt for et kamera at analysere objekter i et billede og udvælge funktioner som kanten af ​​et bord. Og teknikkerne til computergrafik tilbyder adskillige måder at manipulere et digitalt billede på. Når disse tilgange kombineres i et kamera, hvis optiske komponenter er designet med sådanne algoritmer i tankerne, kan du gøre nogle overraskende ting. For eksempel kan du i realiteten justere lyskilden efter billedet er taget, så et objekt oplyst fra én vinkel ser ud til at være oplyst fra en anden. Og du kan endda justere fokus på et fotografi bagefter.

Kæmpende bevægelsessløring

Et af de mest overbevisende eksempler på, hvad computerfotografering kan opnå, er bevægelsesinvariant fotografering, en smart måde at fjerne sløring fra billeder af objekter i bevægelse.

Sløring er en proces, der forvrider information, siger Frédo Durand, en MIT-lektor i elektroteknik og datalogi, som har hjulpet med at udvikle denne idé. Pixels i et digitalt billede opfører sig ligesom firkanter på et skakternet, siger han. Et hurtigt bevægende sort-hvidt skakternet mønster sløres til gråt, et gennemsnit af de sorte og hvide firkanter. Men hvis du ved præcist, hvordan skakternet blev flyttet – for eksempel ved at dreje det rundt om et punkt i midten eller ved at ryste det op og ned – så kan du skrive en matematisk funktion til at beskrive den bevægelsesbaserede sløring. Når du kender den funktion, kan du vende den om for at fjerne sløringen.

Durand og hans kolleger – inklusive Anat Levin, en postdoc og Bill Freeman, en MIT-professor i elektroteknik og datalogi – har designet et kamera, der kan drage fordel af dette princip til at fjerne sløring fra et billede af et objekt, der rejser i en lige linje, såsom en bil, der kører for hurtigt ned ad vejen. Nøglen er at gøre noget kontraintuitivt, siger Durand: Vi skaber mere sløring ved at flytte kameraet under eksponering.

Forskernes testkamera har et optisk system, der bevæger sig frem og tilbage langs en lige linje og slører hele billedet. På grund af den måde, sensoren bevæger sig frem og tilbage på, vil der være mindst et øjeblik under eksponeringen, hvor kameraet perfekt følger det fotograferede objekt, hvilket gør det muligt for kameraet at fange nøjagtige oplysninger om objektets visuelle struktur, uanset dets hastighed. Denne information gør det muligt for forskerne at skrive en ligning, der definerer den bevægelsesbaserede sløring - og derefter eliminere hastigheden fra denne ligning. Ved at invertere ligningen kan de rekonstruere et billede uden sløring overhovedet (se Eliminering af bevægelsessløring, s. M14) .

I dette kamera, i modsætning til en typisk model, er optikkens opgave ikke direkte at danne det endelige billede, siger Durand. I stedet er det på en måde at blande lysstrålerne, så det, der registreres af sensoren, giver os adgang til mere information.

Finjusteringsfokus

En af irritationerne ved mobiltelefoner og kompaktkameraer er, at de mangler spejlreflekskameraets fokuskontrol. Med et spejlreflekskamera kan objektivet flyttes for at ændre, hvad der er i fokus. Ved at justere blænden kan en fotograf få et billede, hvor et forgrundsmotiv er i klart fokus, mens baggrunden med vilje er sløret for at mindske distraherende elementer. SLR'er er dog dyre, og de er svære for amatører at bruge. Forskere i computerfotografi forsøger at udvikle et simpelt mobiltelefonkamera med fast linse, der gør det nemt for enhver at opnå sådanne effekter. De håber også at give fotografer mulighed for at vælge, hvilke objekter de vil have i fokus, efter at et billede er taget.

Kameraer er designet til at fokusere på objekter inden for et givet område. Når et kamera er fokuseret på et bestemt objekt, koncentrerer linsen lyset, der reflekteres fra dette objekt, på sensorarrayet. Lyset, der reflekteres fra objekter, der ikke er i fokus, når stadig sensorerne, men det er ukoncentreret, hvilket resulterer i et sløret billede. Hvis et kamera ikke er perfekt fokuseret, siger Durand, vil objektivet projicere punkter fra scenen på sensoren som diske i stedet for punkter.

Hvis afstandene mellem kameraet og objekter på et billede er kendt, kan en algoritme anvendes på billeddataene for at skærpe de ufokuserede dele af et billede, og konvertere de slørede lysskiver til fokuserede punkter. Konventionelle kameraer kan dog ikke bestemme denne dybdeinformation på egen hånd.

For at udtrække dybdeinformation fra et fotografi modificerede Durand, Freeman og andre kolleger en eksisterende linse med en maske indsat i blænden. I det væsentlige er masken et stykke pap, der blokerer for en del af lyset for subtilt at ændre udseendet af de ufokuserede dele af billedet. Durand forklarer, at den udifferentierede sløring forårsaget af et almindeligt ude af fokus objektiv ikke giver nok spor, der kunne bruges til at rekonstruere et klart billede. Men deres maske ændrer denne ensartede sløring til, hvad han kalder et mærkeligt, men struktureret rod. Striber og andre usædvanlige træk ved det slørede billede hjælper forskerne med at gendanne dybdeinformation: Takket være den måde, masken blokerer lyset i kameraets blænde på, vil et objekt 10 fod fra kameraet blive sløret anderledes end et objekt fem tommer væk. Fordi de kender formen på masken, har forskerne været i stand til matematisk at definere sløringen forbundet med hver dybde, hvilket gør dem i stand til at udtænke en algoritme, der kan fortryde det (se fotografier af konventionelle og kodede blænder og udtrækning af dybdeoplysninger, s. M15) .

En anden strategi til at forbedre fokus, især i et simpelt mobiltelefonkamera, ligner Durands teknik til at håndtere bevægelsessløring. Et spejlreflekskameras store blændestørrelse giver det en lav dybdeskarphed (det område af afstande fra kameraet, hvor objekter vises skarpt i fokus), hvilket gør det muligt at fokusere på et bestemt motiv og tillade baggrunden, forgrunden eller endda begge dele. vige, forklarer Raskar. Men billeder taget med almindelige mobiltelefonkameraer, som har meget små blændeåbninger, ser flade ud, fordi alt ser ud, som om det er den samme afstand fra kameraet. Ved den første IEEE International Conference on Computational Photography, afholdt i San Francisco i april, præsenterede postdoc Ankit Mohan et papir, han skrev sammen med Raskar og andre, der beskrev en teknik til at simulere et objektiv med en større blændestørrelse. De demonstrerede, hvordan et kamera med fast linse kan designes, så både dets linse og dets sensor bevæger sig lidt under eksponeringen. Ved at variere bevægelsens hastighed og rækkevidde er de i stand til i realiteten at ændre brændvidden og blændestørrelsen for at kontrollere, hvilken del af billedet der er i fokus; resten er bevidst sløret (se Fokuskontrol for kameraer med fast objektiv, s. M15) . En sådan teknologi kunne give et billigt mobiltelefonkamera fokusstyringen af ​​et spejlreflekskamera.

Justering af belysning, perspektiv

Forbedret fokusering er kun begyndelsen; computerfotografering kunne også gøre det muligt for folk at justere belysningen af ​​en scene eller endda ændre kameraets perspektiv, efter at et billede er taget. Dette er den slags trick, som computersyn gør muligt. Det er svært at gøre, hvis din computer kun har en forståelse af billedet på niveau med pixels, siger Freeman. Men hvis du kan give computeren en forståelse af det billede i form af begreber på højere niveau, som belysning eller form, så kan du lade brugeren justere knapperne, der styrer disse mængder.

Denne forståelse på højere niveau kommer fra billedanalysealgoritmer, der lader en computer se komponenterne i et billede. For eksempel kan en algoritme identificere, hvilke komponenter i billedet, der skyldes farven på et objekts overflade, og hvilke som skyldes moduleringen af ​​lys, der reflekteres af dets form. Når det er kendt, kan en bruger justere overfladefarve og lyseffekter uafhængigt. Målet er at bygge et system, der f.eks. kan identificere, hvor kanten af ​​et mørkt stykke prime rib ender, og den skygge, det kaster på en tallerken, begynder.

Sådanne teknikker, siger Raskar, kunne afsløre detaljer - såsom subtile ansigtsudtryk - der tidligere ville være blevet skjult af skygger. Kort sagt vil kameraer være i stand til tættere at fange essensen af ​​en scene. Når du går ned ad gaden med en ven, kan du være i enhver form for belysning, og du kan se, hvor smuk denne person er, siger han. Lige nu kan et fotografi ikke gøre det. Men beregningsteknikker indsnævrer det hul, der stadig adskiller øjet og hjernen fra kameraet. Om ti år, siger han, kan det være præcis, hvad et fotografi kan.

skjule