211service.com
Hvordan Magic Leaps Augmented Reality fungerer
En startup i Florida ringede til Magisk spring meddelte tirsdag, at det havde modtaget 542 millioner dollars i finansiering fra store Silicon Valley-investorer ledet af Google til at udvikle hardware til en ny slags augmented reality-hardware. Den hemmelighedsfulde startup har endnu ikke offentligt beskrevet eller demonstreret sin teknologi og afviste en anmodning om interview. Men patent- og varemærkeansøgninger afslører den slags teknologi, som Magic Leap planlægger at bruge til at skabe det, som virksomhedens administrerende direktør og grundlægger Rony Abovitz har ringet den mest naturlige og menneskevenlige bærbare computergrænseflade i verden.
TIL patentansøgning af opstart Magic Leap beskriver en bærbar skærm, der præsenterer realistiske 3D-billeder, drevet af en computer båret på hoften.
Filerne beskriver sofistikeret skærmteknologi, der kan narre det menneskelige visuelle system bedre end eksisterende virtual reality-skærme (såsom Oculus Rift) til at opfatte virtuelle objekter som ægte. Displayteknologien, der bruges i de fleste enheder, kan kun vise flade 2D-billeder. Headsets som Oculus Rift snyder din hjerne til at opfatte dybde ved at vise forskellige billeder til hvert øje, men dine øjne er altid fokuseret på fladskærmen lige foran dem.
Når du ser på en rigtig 3D-scene, ændres dybden, som dine øjne er fokuseret på, når du ser på objekter på forskellige afstande. Hvis vi udelader disse fokus-signaler, får vi en oplevelse, der ikke er helt realistisk, siger Gordon Wetzstein , der leder Computational Imaging Research Group ved Stanford University.
Magic Leaps patenter foreslår en alternativ tilgang. De beskriver skærme, der kan skabe den samme slags 3D-mønstre af lysstråler, kendt som lysfelter, som vores øjne optager fra de virkelige objekter omkring os. Wetzstein og andre forskere har vist, at dette giver dine øjne mulighed for at fokusere på dybden af en kunstig 3D-scene, ligesom de ville gøre i den virkelige verden - hvilket giver en langt mere realistisk illusion af virtuelle objekter, der er smeltet sammen med den virkelige verden.
Tidligere i år brugte Wetzstein og kolleger den teknik til at skabe en skærm, der gør det muligt at læse tekst tydeligt af folk, der ikke har deres sædvanlige korrigerende linser på (se Prototype Display Lader You Say Goodbye to Reading Glasses). Han har tidligere arbejdet på 3D-skærme uden briller baseret på lignende metoder. Og sidste år demonstrerede forskere hos chipfirmaet Nvidia en grundlæggende bærbar skærm baseret på lysfelter.
TIL varemærkearkivering fra juli beskriver Magic Leaps teknologi som Wearable computerhardware, nemlig et optisk displaysystem, der inkorporerer et dynamisk lysfeltdisplay.
En af Magic Leaps patenter beskriver hvordan sådan en enhed, kaldet en WRAP, for waveguide reflector array projektor, ville fungere. Displayet ville bestå af en række af mange små buede spejle; lys ville blive leveret til dette array via optisk fiber, og hvert af de bittesmå elementer ville reflektere noget af dette lys for at skabe lysfeltet for et bestemt punkt i 3D-rummet. Arrayet kunne være semi-transparent for at tillade en person at se den virkelige verden på samme tid.
Flere lag af sådanne bittesmå spejle ville tillade skærmen at producere illusionen af virtuelle objekter på forskellige afstande. Magic Leaps patent hævder dog også, at et enkelt lag af spejlene ville være nok, hvis de var dannet af magnetisk væske. Det ville gøre det muligt at omprogrammere spejlene ved hjælp af et magnetfelt til hurtigt at vise punkter i forskellige dybder hurtigt nok til at narre øjet, som billederne i en animation.
Magic Leaps største udfordring kan være at finde en måde til problemfrit at integrere virtuelle 3D-objekter skabt af den skærm med det, en person ser i den virkelige verden. At gøre det ville kræve, at systemet fornemmer verden i 3D og forstår præcis, hvad en person ser på og dens nøjagtige position, siger Wetzstein.
Et af Magic Leaps patenter dækker brugen af bevægelsessensorer og eye-tracking-kameraer på en bærbar skærm for at finde ud af, i hvilken dybde en persons øjne er fokuseret. Men Wetzstein siger, at han ikke kender til nogen, der endnu har demonstreret et bærbart system, der kan spore afstanden, en person fokuserer på.
Endnu en af Magic Leaps patentansøgninger siger, at kameraer, infrarøde sensorer og ultralydssensorer kunne bruges til at fornemme omgivelserne omkring en person og til at genkende gestus. Dybdefølende kameraer er nu relativt billige og kompakte (se Intel siger, at tablets og bærbare computere med 3-D Vision snart kommer). Men Wetzstein siger, at Magic Leap sandsynligvis bliver nødt til at lave store gennembrud inden for computervisionssoftware til en bærbar enhed for at give mening af verden nok til en meget rig augmented reality. De vil kræve meget kraftfuld 3-D billedgenkendelse, der kører på din hovedmonterede skærm, siger han.
Virksomheden rekrutterer eksperter i chip design og fremstilling , tilsyneladende med henblik på at skabe brugerdefinerede chips til at behandle billeddata. Dedikerede chips kunne gøre det arbejde mere energieffektivt, noget vigtigt for en bærbar enhed. Magic Leap ansætter allerede Gary Bradski , en pioner inden for computersynsforskning og -software, bemærker Wetzstein. Magic Leap forsøger også at rekruttere folk, der er dygtige indenfor lasere , mobil og trådløs elektronik, kameraer, produktionsforsyningskædestyring, 3-D sansning , kunstig intelligens , og udvikling af videospil .
Alt i alt er mange af de underliggende teknikker, Magic Leap har brug for for at realisere meget realistisk augmented reality, blevet demonstreret, siger Wetzstein. Men virksomheden bliver nødt til at forfine og kombinere dem på måder, som ingen endnu har formået at gøre. Jeg tror, folk begynder at indse, at det er fremtiden for at bygge forbrugerenheder, siger han. Men det involverer store udfordringer i krydsfeltet mellem optik, elektronik, algoritmer og forståelse af det menneskelige visuelle system.