Oculus Rift Hack overfører dine ansigtsudtryk til din avatar

Virtual reality er indstillet på at få et vigtigt strejf af social virkelighed.

Softwaren kombinerer data fra sensorer, der sporer den øvre og nedre del af ansigtet og matcher resultatet til en 3-D-model af et ansigt.

Forskere ved University of Southern California og Facebooks Oculus-afdeling har demonstreret en måde at spore ansigtsudtryk på en person, der bærer et virtual reality-headset, og overføre dem til en virtuel karakter. Det kunne give meget mere givende socialt samvær, arbejde eller leg i virtuelle verdener, fordi udtrykket af en virtuel kropsdobbelt eller en overjordisk avatar perfekt kunne efterligne en persons virkelige ansigt.

Systemet sporer bevægelsen af ​​en persons mund ved hjælp af et 3-D-kamera, der er fastgjort til headsettet med en kort bom. Bevægelser af den øverste del af ansigtet måles ved hjælp af strain gauges tilføjet til skumpolstringen, der passer headsettet til ansigtet. Efter at de to datakilder er kombineret, kan en nøjagtig 3D-repræsentation af brugerens ansigtsbevægelser bruges til at animere en virtuel karakter, uanset om det er en ersatz-person eller noget andet end menneskeligt (se video).

Det kunne gøre beboelse og interaktion i virtuelle verdener mere overbevisende, siger Hao Li , en assisterende professor ved University of Southern California, der ledede projektet. For at få et virtuelt socialt miljø vil man gerne formidle denne adfærd til andre mennesker, siger han. Dette er den første ansigtssporing, der er blevet demonstreret gennem et hovedmonteret display. Li blev udnævnt til en af MIT Technology Review 's Young Innovators i 2013.

Facebooks administrerende direktør Mark Zuckerberg har sagt, at han er interesseret i, at Oculus Rift-headsettet giver nye måder at socialisere på, selvom han ikke har afsløret nogen detaljer. Det sociale netværk købte Oculus sidste år (se Hvad Zuckerberg ser i Oculus Rift).

Li siger, at Oculus-forskerne arbejdede sammen med ham udelukkende som en forskningsøvelse, men at det ikke ville være for svært at pudse det system, de fandt på, og gøre det til et kommercielt produkt. Hvis folk synes, at det her er virkelig centralt for vigtige dræberapplikationer, kan man få det i produktion relativt hurtigt, siger han.

Det her er virkelig fedt, siger Philip Rosedale, som tidligere har grundlagt Second Life og nu er administrerende direktør for en virtual worlds startup kaldet High Fidelity . Virksomheden arbejder på at muliggøre realistisk virtuel social interaktion ved at bruge webcams og anden sensorteknologi til at spore ansigtsudtryk og arm- og håndbevægelser (se The Quest to Put More Reality in Virtual Reality).

Der er gode beviser på, at det at få folks avatarer til at vise deres kropssprog i den virkelige verden hjælper dem med at forbinde sig til andre mennesker i en virtuel verden, siger Rosedale. Han er enig med Li i, at det burde være muligt at strømline det første proof of concept. Kameraet kunne f.eks. integreres i undersiden af ​​headsettet. Forskere og nystartede virksomheders bestræbelser på at placere eye-tracking-kameraer i virtual reality-headset kan være en alternativ måde at indsamle data på den øverste del af ansigtet.

Bindepunktet i Lis system er software, der kan kombinere data fra sensorerne, der sporer den øvre og nedre del af ansigtet og matcher resultatet til en 3-D-model af et ansigt.

Indtil videre kræver den software, at du gennemgår en kort kalibreringsproces, første gang du bruger systemet. Først giver du dine ansigtsmuskler en 10-sekunders træning ved at forvride dem til et par forskellige udtryk, mens du bærer et headset med skærmdelen fjernet foran et 3-D-kamera, så det kan få fuldt udsyn til ansigtet. Så tager du hele headsettet på og giver dit ansigt en træning i yderligere 10 sekunder. De indsamlede data hjælper softwaren med at finde ud af, hvordan den korrekt matcher datastrømmene fra dit over- og underansigt.

Li siger, at han arbejder på at eliminere det trin ved at tilføre sin software flere data på forskellige ansigter. Han arbejder også på andre teknikker, der kan gøre det nemmere at kopiere dit rigtige jeg ind i en virtuel verden. Mange værktøjer er allerede blevet udviklet til at skabe 3-D-replikaer af menneskers kroppe og ansigter ved hjælp af konventionelle og 3-D-kameraer. Li lavede for nylig et system, der tackler den mere udfordrende opgave at lave en realistisk 3-D genskabelse af en persons frisure. Hans software kan kun gøre det ved hjælp af et enkelt foto . Dette projekt og den ansigtssporende forskning vil begge blive præsenteret på Siggraph computergrafikkonference i Los Angeles i august.

skjule