Nvidias Eye-Tracking Tech kunne revolutionere Virtual Reality

Se på et ur på en nærliggende væg. Omdrejningspunktet for dit blik skal være i fokus, mens scenen døgnet rundt er sløret, som om din hjerne skitserer dine omgivelser, eller i computergrafik-termer gengiver en lavopløst version af scenen.

Nvidia anvender det samme trick til at gengive virtual reality, og det kan hjælpe med at forbedre realismen i virtuelle verdener betydeligt. Ved at fokusere grafikgengivelseskraften på et mindre område, er det muligt at skærpe det billede, en person ser betydeligt.

Leonardo da Vinci var den første person til at bemærke dette visuelle fænomen, kaldet foveal vision, i det 15. århundrede. David Luebke , har sammen med fire andre forskere ved Nvidia brugt de sidste ni måneder på at efterligne princippet i VR ved fuldt ud at gengive det specifikke område, hvor en spiller kigger, og efterlade resten af ​​scenen med en langt lavere opløsning.

Denne virtuelle scene blev gengivet ved hjælp af Nvidias foveal vision-tilgang, som sporer fokus for brugerens blik og slører det perifere syn omkring det.

Når afspilleren, der bruger Nvidia-systemet, fokuserer på et nyt område af scenen, flytter eye-tracking-software fokus på gengivelsen i naturalier. For at gengive en fuld scene i VR med 90 billeder i sekundet, den laveste acceptable billedhastighed i VR, før brugere begynder at rapportere følelsen af ​​kvalme, skal fire millioner pixels gengives med næsten hundrede gange i sekundet. Men ved kun at fokusere gengivelsen på spillerens synsfelt, kan der opnås store beregningsbesparelser. Præstationsgevinsterne er for store til at blive ignoreret, siger Luebke.

Princippet er ikke nyt i VR-forskning. »Princippet er ikke nyt i VR-forskning. Faktisk bruger det Kickstarter-støttede Fove-headset et lignende system (se 'Peg, klik og skyd i Virtual Reality—Med bare dine øjne'). Luebke har brugt meget af de sidste 15 år på at studere området, først mens han var professor ved University of Virginia og nu på Nvidia. Tidligere har eye-tracking-teknologi dog kæmpet for at holde trit med den pisk-hurtige hastighed af menneskelige øjenbevægelser, hvilket forårsager en mave-knusende latenseffekt, når en bruger skifter fra f.eks. venstre side af en scene til højre. En ny prototype eye-tracking VR-skærm af SensoMotoric Instruments er i stand til nøjagtig eye-tracking med lav latens ved 250 Hertz. For første gang har vi eye-trackere, som man ikke kan løbe fra med øjnene, forklarer Luebke.

Selv med denne evne skulle Nvidias team bruge en masse tid på at beregne præcis, hvor meget det kunne sænke opløsningen af ​​periferien af ​​en scene, før en seer bemærker det. Perifert syn er meget god til at registrere flimmer, forklarer Luebke. Det bruges til at hjælpe os med at se tigre i skoven.

Som sådan er enhver flimmer fra nedbrydningen foruroligende. Ligeledes, hvis periferien bliver for sløret, kan det skabe en tunnelsynseffekt, som om beskueren kigger gennem en kikkert. Man kan se, at der er noget galt, selvom man ikke helt kan sætte fingeren på hvad, siger Luebke.

For at løse problemet fandt Nvidias forskere ud af, at hvis de øger kontrasten på den perifere scene, mens de sænker opløsningen, bliver det menneskelige sind fuldstændig narret.

Mens Nvidia ikke har nogen produkter i produktion, der letter teknikken, håber virksomheden, som leverer hardware og software til mange VR-virksomheder, at deres resultater vil opmuntre de store headset-producenter til at inkludere eye-trackere i deres fremtidige hovedmonterede skærme. En del af det, vi laver her, er med til at definere færdselsreglerne for VR, siger Luebke.

Det er usandsynligt, at teknologien dukker op uden for VR - i bærbare computere, for eksempel - da eye-trackere bliver langt mindre effektive, jo længere de er fra ens ansigt. VR, hvor trackeren sidder et par centimeter fra øjet, tilbyder derimod den ideelle parring. Teknologien vil sandsynligvis påvirke virksomhedens fremtidige grafikkort, hvilket giver udviklere mulighed for at prioritere beregningsmæssig behandling på specifikke pixels og omdefinere gengivelsesalgoritmer.

skjule