Ny AR-skærm samler digitale billeder ind i det virkelige liv langt mere nøjagtigt

University of Arizona College of Optical Sciences





I det virkelige liv ser vi objekter blokere andre objekter hele tiden. Denne form for okklusion giver vores øjne og hjerner gode fingerpeg om, hvor tingene er i rummet, og det hjælper os med at tro, at tingene foran os faktisk er der. Det er også en af ​​de største udfordringer for at opnå realisme i augmented reality, hvor du forsøger at blande virtuelle objekter med faktiske.

Sagen er, at augmented reality er blevet meget bedre i de sidste par år, blandt andet fordi store teknologivirksomheder som Microsoft, Apple og Google har investeret i værktøjer, der kan hjælpe udviklere med at lave bedre AR-oplevelser. Men mens det visuelle bliver bedre, kan de oplevelser, du kan tjekke ud i dag, i bedste fald kun placere digitale objekter foran andre.

Det er der, forskere ved University of Arizonas College of Optical Sciences mener, at de kan hjælpe. EN prototype augmented-reality-skærm, de har fundet på, kan vise et virtuelt billede, der både blokerer de virkelige objekter, der sidder bagved det, og selv kan blokeres af andre virkelige objekter placeret foran det.



Hong Hua , en professor i optiske videnskaber ved University of Arizona og medforfatter til et nyligt offentliggjort papir om arbejdet, siger, at displayet - oprindeligt lavet til kun ét øje - er lidt som et teleskopsystem. Linser afbilder et virkelighedsbillede på en rumlig lysmodulator (disse bruges til at styre lysstråler i ting som projektorer), som bruges til at lave en maske, der pixel for pixel udelukker den del af den virkelige verden, som virtuelt objekt vil sidde foran. Det modulerede lys og det virtuelle billede bevæger sig derefter gennem okularet og når dit øje.

Hua, skal det bemærkes, er også konsulent for den mystiske augmented-reality-startup Magic Leap og er opført som opfinder på nogle af virksomhedens patentansøgninger og patenter , herunder to patenter bevilget i 2017 for et headset med en gennemsigtig skærm med gensidig okklusion og uigennemsigtighedskontrol, der ligner dette arbejde meget. Hun vil ikke sige præcist, hvad hun gør for Magic Leap, men hun siger, at denne akademiske forskning ikke er relateret. Alligevel, i betragtning af dens betydning for at få AR til at virke realistisk, ville det give mening, hvis virksomheden også forfulgte arbejdet (da spørgsmålet blev spurgt om det, havde Magic Leap ingen kommentarer).

Hua siger, at en stor udfordring ved at få denne form for dobbelt okklusion til at fungere i AR er at beskæftige sig med lys – specifikt skal du være i stand til præcist at kontrollere lys fra den virkelige verden for at overlejre f.eks. en digital tekande på en hylde, så den ser ud til at være foran ting som en dåse med trykluft såvel som bag en dåse spraymaling (som Hua og kandidatstuderende Austin Wilson gjorde med deres prototype). Hovedmonterede skærme, der er tilgængelige i dag, kan ikke gøre det.



For at få det til at fungere i realtid i et AR-headset, siger Hua, har du brug for en dybdesensor, hvilket bliver mere og mere almindeligt på headset som HoloLens.

Den hardware, der er nødvendig for at gøre denne form for okklusion mulig, skulle også blive meget mindre. Lige nu er det ret omfangsrigt, siger hun, fordi hun og Wilson koncentrerede sig om at gøre systemet billigt frem for kompakt. De arbejder på en ny prototype nu for at gøre den bærbar, siger Hua, men den vil stadig være i hjelmstørrelse.

Det vil nok tage et stykke tid at komme ind i den populære brilleformfaktor, siger hun.



skjule