Sådan modificeres et smartphone-kamera, så det optager en million billeder i sekundet

xiaojie2020

Tilbage i 1930'erne begyndte en ung elektrisk ingeniør ved navn Harold Edgerton at eksperimentere med elektronisk flashfotografering på MIT. Han brugte det berømt til at fryse handlingen af ​​hverdagsgenstande såsom en vandstrøm, en sprængt ballon og en kugle, der rammer et æble.

Edgerton fortsatte med at være pioner for en bred vifte af single- og multiflash-teknikker (såvel som mange andre billeddannelsesteknikker). Mange af disse er nu tilgængelige som standard på populære kameraer og smartphones.

Siden da er lukkerhastighederne steget højere. Nogle iPhones kan tage enkeltbilleder med en lukkerhastighed på 1/10.000 af et sekund. Specialkameraer kan optage billeder med en hastighed på 40.000 i sekundet. Men denne form for udstyr er kompleks og dyr, så disse teknikker er utilgængelige for de fleste mennesker.

I dag ser det ud til at ændre sig takket være arbejdet fra Sam Dillavou ved Harvard University og et par kolleger, som har udviklet en teknik, der gør det muligt for almindelige elektroniske kameraer og smartphones at optage billeder med en betagende hastighed på millioner af billeder i sekundet.

Først lidt baggrund. Moderne kameraer bruger elektroniske pixels til at optage lyset, der rammer dem. Disse pixels registrerer intensiteten, normalt på en skala på 16 niveauer. Dette bestemmes af bitniveauet af pixels. Så under en eksponering kan hver pixel optage 14 nuancer af grå mellem sort og hvid.

Men for mange typer billedbehandling er dette detaljeringsniveau unødvendigt - alt hvad der er nødvendigt er et simpelt sort eller hvidt billede. I så fald er den ekstra grå detalje overflødig.

Det gav Dillavou og kolleger en idé til at pirre enkelte billeder fra hinanden til flere kortere eksponeringer.

Sådan gør du. Forestil dig en hvid væg dækket af et sort gardin. Åbn nu gardinet fra venstre mod højre for at afsløre væggen, og optag bevægelsen i en enkelt eksponering.

Under eksponeringen optager pixels på venstre side af billedet først det sorte gardin, men derefter den hvide væg, når gardinet bevæger sig hen over rammen. Dette gennemsnit ud til en lysegrå.

I modsætning hertil ser pixels, der optager højre side af billedet, det sorte gardin under det meste af eksponeringen. Først i slutningen af ​​eksponeringen afsløres den hvide væg. I så fald er gennemsnittet mørkegrå.

På samme måde vil pixels i midten af ​​billedet optage en mellemgrå. Og det endelige billede fremstår som en gradueret grå, som repræsenterer gardinets bevægelse.

Dillavous og kollegers centrale idé er, at dette enkelte billede kan opfattes som mange sort-hvide snapshots af det bevægelige gardin, der er lagt oven på hinanden. Faktisk afhænger antallet af billeder, der kan teased ud af et enkelt billede, af antallet af bitniveauer, som pixels optager.

Bevæbnet med denne indsigt udviklede de en matematisk teknik til at udtrække disse billeder fra et enkelt billede, en idé de kalder den virtuelle rammeteknik. I dette tilfælde kan det skabe 16 billeder af gardinet, der bevæger sig hen over væggen.

Denne teknik har potentialet til at gøre næsten ethvert elektronisk kamera til et højhastighedsvidunder. Holdet har testet det ved at sammenligne de virtuelle billeder med dem taget af et højhastighedskamera, der optager med 40.000 billeder i sekundet.

De placerede en strakt gummiplade foran en stråledeler, der sendte lyset til begge kameraer, så begge havde det samme udsyn til arket. Holdet satte belysningen op, så gummilagen fremstod sort, mens baggrunden fremstod hvid. De brugte en skalpel til at klippe gummiarket og optog den måde, det splittede på med begge kameraer, mens bruddet løb hen over arket.

Endelig brugte holdet den virtuelle frame-teknik til at udtrække billeder med høj billedhastighed og sammenligne dem med billederne fra højhastighedskameraet, der optog med 40.000 billeder i sekundet. En video af denne sammenligning er kan downloades her .

Resultaterne viser, at den virtuelle frame-teknik har et stort potentiale. For det første viser begge sæt billeder en lignende brudproces, hvilket bekræfter fordelen ved fremgangsmåden. Men det har også en række væsentlige fordele. Det optager 1,3 megapixel i hvert billede sammenlignet med standardkameraets 60 kilopixel. Dette øger synsfeltet dramatisk og dermed afstanden, som bruddet kan registreres over.

Den virtuelle billedhastighed er også meget hurtigere. Den effektive billedhastighed opnået ved brug af [den virtuelle framing-teknik] er 1MHz, siger Dillavou og co.

De fortsætter med at studere, hvordan anvendelsen af ​​den nye teknik på en række forskellige kameraer øger deres billedhastigheder. Tallene er øjenåbnende. Som et eksempel optager Nikon D850 virtuelle frames ved 16MHz, mens den bevarer en opløsning på over 50Mpx, siger de. Selv en iPhone X er i stand til at optage med op til en million billeder i sekundet ved hjælp af denne teknik.

Der er ringe grund til at tro, at dette ikke kan styres let, da al behandling sker senere. Denne forbedrede virtuelle billedhastighed kræver ingen ændring i kameraets drift, siger teamet.

Der er dog nogle vigtige grænser for, hvilke typer af fænomener, der kan registreres på denne måde. For det første skal objektet af interesse være sort på en hvid baggrund (eller omvendt). Eventuelle gråtoner i scenen vil ødelægge resultaterne.

Og selve fænomenet må være det, Dillavou og co kalder monotont. Med andre ord skal enhver ændring under en eksponering fortsætte fra sort til hvid (eller omvendt), men ikke tilbage igen. I eksemplet med gardin fungerer den virtuelle ramme-teknik, hvis gardinet bevæger sig i én retning, men ikke hvis det bevæger sig frem og tilbage.

Ikke desto mindre er den virtuelle frame-teknik et betydeligt fremskridt for fotografering. Det har potentialet til at forvandle smartphone-kameraet i din baglomme til en højhastighedsoptager, som ville have imponeret selv Doc Edgerton.

Ref: arxiv.org/abs/1811.02936 : Virtuel rammeteknik: Ultrahurtig billedbehandling med ethvert kamera

skjule