Fysikere hacker det menneskelige visuelle system for at skabe spøgelsesbilleder

Spøgelsesbilleddannelse er et af de mere ekstraordinære fremskridt inden for optik i de senere år. Den producerer billeder i høj opløsning ved hjælp af enkeltpixel-kameraer og lys, der aldrig har interageret med det pågældende objekt.

Teknikken er afhængig af smarte algoritmer til at knuse de tilsyneladende tilfældige data, som en enkelt pixel ser ud til at indsamle. Mere om det nedenfor.

På grund af dette er det let at forestille sig, at spøgelsesbilleder har ringe relevans for menneskelig perception, da det menneskelige visuelle system skal være ude af stand til at behandle denne form for data.

Ikke så. I dag demonstrerer Alessandro Boccolini ved Heriot-Watt University i Edinburgh, Skotland, og et par kolleger, at mennesker kan se spøgelsesbilleder og foreslå, hvordan teknikken kan bruges til at studere og udnytte det visuelle system på helt nye måder.

Først lidt baggrund. Spøgelsesbilleder fungerer ved at projicere et tilfældigt mønster af lys på et objekt og optage det reflekterede lys med en enkelt pixel. Gentagelse af denne proces med forskellige tilfældige lysmønstre producerer en sekvens af datapunkter om, hvordan lysintensiteten varierer over tid.

Det er let at tro, at disse datapunkter skal variere tilfældigt. Men de er faktisk korrelerede, fordi lyset reflekteres fra det samme objekt. Så knasning af dataene på den rigtige måde kan afsløre denne sammenhæng: et billede af objektet.

Ikke al denne behandling skal udføres på en computer. En genvej er at bruge signalet fra den enkelte pixel til at modulere lysoutputtet fra en anden LED. Dette projiceres derefter på det samme tilfældige mønster, og processen gentages for det næste mønster, og så videre.

Billedet af objektet - spøgelsesbilledet - kan derefter rekonstrueres ved at integrere det reflekterede lys fra en lang sekvens af tilfældige mønstre belyst. Interessant nok er det resulterende billede dannet af lys, der aldrig har interageret med det originale objekt.

Spørgsmålet, som Boccolini og co undersøger, er, om det menneskelige visuelle system kan udføre denne integrationsproces. Deres idé er at projicere mønstrene hurtigt efter hinanden på en skærm, som nogen ser, og derefter se, om personens visuelle system vil kombinere dem.

En lignende effekt giver os mulighed for at opfatte en sekvens af stillbilleder som kontinuerlig bevægelse. Men det er på ingen måde indlysende, at det visuelle system vil integrere de tilfældige mønstre, som hver især er et tilfældigt arrangement af sorte og hvide pixels kaldet et Hadamard-mønster.

Den eneste måde at finde ud af det på er at prøve eksperimentet på nogle villige ofre. Boccolini og co bad fire menneskelige forsøgspersoner om at se de projekterede mønstre. Disse marsvin kunne ændre den hastighed, hvormed mønstrene så ud til at se, hvordan dette ændrede deres oplevelse.

Resultaterne er fascinerende. Boccolini og co siger, at når mønstrene vises i en relativt langsom hastighed, ser det menneskelige øje kun et sæt kvadratiske pixels. Men når hastigheden krydser en tærskel, dukker billedet af objektet pludselig op.

Tærsklen er helt klart en vigtig egenskab ved menneskesyn. Den eksperimentelle opsætning er i stand til at projicere mønstre med en hastighed på 20 kilohertz; der tillader, at 200 Hadamard-mønstre vises hvert 20. millisekund.

Boccolini og co siger, at alle fire forsøgspersoner kunne se objektet i denne hastighed. Så det visuelle system skal integrere en sekvens af billeder på en bestemt måde. Men billedet forringes hurtigt, når hastigheden falder til under 200 mønstre pr. 20 millisekunder.

Dette er et helt nyt visuelt fænomen og giver et nyt værktøj til at studere det visuelle system. Vi bruger denne menneskelige spøgelsesbilledteknik til at evaluere øjets tidsmæssige respons og fastslå, at billedets holdbarhedstid er omkring 20 ms efterfulgt af yderligere 20 ms eksponentielt henfald, siger holdet.

At øjet aldrig interagerer med lys, der har ramt objektet, åbner nogle fascinerende muligheder, ikke mindst udsigten til at belyse objektet med én bølgelængde og så opfatte det ved en anden. Faktisk behøver den lysende bølgelængde ikke at være synlig for det menneskelige øje.

Spøgelsesbilleder med øjet åbner op for en række helt nye applikationer, såsom at udvide menneskets syn til usynlige bølgelængderegimer i realtid, siger Boccolini og co. Dette kræver ingen yderligere visningsskærm eller beregningsmæssige trin, da det menneskelige synssystem udfører næsten alt arbejdet.

Boccolini og co er dog mest interesserede i, hvordan dette nye værktøj kan hjælpe dem med at studere det visuelle system mere detaljeret. En idé er at undersøge, om det visuelle system er i stand til endnu mere beregning. Holdet håber at studere dette ved at sende forskellige mønstre ind i hvert øje eller på forskellige dele af nethinden for at se, om det visuelle system stadig kan integrere dataene for at producere et billede.

Det vil være interessant arbejde, værd at se.

Ref: arxiv.org/abs/1808.05137 : Spøgelsesbilleder med det menneskelige øje

skjule