Hackere tager Kinect til nye niveauer

Kort efter Microsoft frigav Kinect-spilleenheden, fandt hackere en måde at trække rå data ud af systemet, hvilket radikalt udvidede dets potentielle anvendelser. Entusiaster har brugt hardwaren til at tegne 3D-klodser i luften med håndbevægelser, til at lege med virtuelle karakterer på skærmen og tillade en robot at genkende bevægelser og kortlægge sine omgivelser.

Hånd vifter: Et software plug-in kaldet DepthJS gør det muligt at styre en webbrowser ved hjælp af Kinect.

Men et af Kinect-hackernes største mål – at kontrollere en computer med bevægelser – viser sig at være svært at opnå.

Forskere ved MITs Media Lab har skabt en ny Chrome-webbrowserudvidelse, der lader brugere interagere med enhver webside via Kinect, hvis enheden er tilsluttet en computer. Deres projekt er en testcase for løftet og begrænsningerne ved at hacke Microsofts perifere spiludstyr til ikke-gamingbrug.

Udvidelsen, kaldet DepthJS , bruger JavaScript til at oversætte et lille antal håndbevægelser til kommandoer, der kan udføres af browseren. For eksempel skifter en hurtig armbevægelse til venstre mellem åbne browservinduer. Åbning og lukning af en hånd fungerer hurtigt som et museklik.

Målet er egentlig ikke at bruge Kinect som et praktisk middel til at surfe på nettet. I stedet er det meningen, at DepthJS skal fungere som grænsefladen mellem en række forskellige webapplikationer og de bevægelser, som Kinect fanger.

At få Kinects begivenheder ind i webbrowseren handler om at sænke omkostningerne ved adgang til at udforske og skabe applikationer ved hjælp af dybdeinformation, siger Doug Fritz fra Fluid Interfaces-gruppen på MIT, som arbejdede på projektet. Computerbrugere bruger det meste af deres tid i webbrowseren, bemærker Fritz. Og de fleste computerprogrammører (især webudviklere) ved, hvordan man bruger JavaScript. Dette gør det til et nemt indgangspunkt for Kinect-programmering.

Et problem er, at i modsætning til at bruge en mus, et tastatur eller en berøringsskærm, er der ikke noget almindeligt anerkendt (eller naturligt intuitivt) ordforråd til gestural computing. Microsoft har udviklet et lille antal bevægelser for at lade Kinect-brugere navigere i menuer og gennemse medier på Xbox.

De fleste af os havde ikke engang brugt en Kinect med Xbox, før vi begyndte at arbejde, så vi var ikke rigtig tynget af det gestussprog, Microsoft har udviklet, siger Fritz. Holdet blev inspireret af iPhones multitouch-bevægelser og arbejde af 3-D computerpioner John Underkoffler . Overraskende nok ligner nogle af de bevægelser, der er oprettet til DepthJS, dem, Microsoft fandt på. Lige nu er vi i den tilstand af hurtig forandring, hvor folk remixer velkendte interaktionsteknikker med det, der føles naturligt, sagde Fritz.

Limor Fried og Phillip Torrone fra Adafruit Industries, et firma, der leverer udstyr til hardwarehackere, hjalp med at sætte gang i kapløbet om at hacke Kinect ved at uddele en dusør på 3.000 USD for software, der kunne forbinde enheden til en almindelig computer.

Begge er begejstrede for fremtiden for Kinect som en hyldesensor til alt fra avanceret robotteknologi til kunstprojekter. Udviklere har skabt en konstant strøm af videoer af forskellige applikationer ved hjælp af Kinect. Disse videoer er egentlig bare proof-of-concepts, der viser nogle af mulighederne for videreudvikling, siger Fried.

En af de mest populære videoer er af en 3-D interaktiv marionet. Det er sjovt, det er intuitivt, og det er noget, der ville være virkelig svært at gøre uden denne billige, hyldevarekomponent. Som du bri Ned ad barriererne har folk plads til at være kreative.

MITs Fritz er hurtig til at bemærke, at tredimensionel, naturlig brugergrænsefladeberegning ved hjælp af gestusgenkendelse og dybdesensorer har været i spil i forskersamfundet i årevis. Kinect er en banebrydende enhed med hensyn til emballering og implementering af disse teknologier for forbrugerne. Jo mere fortrolige brugere bliver med det, jo mere sandsynligt er det, at de oversætter det til sfærer ud over spil.

Tastaturet og musen skal ingen steder hen, men der er meget plads til noget mere, og det tror jeg, folk er klar til, siger Fritz.

Men ethvert forsøg på at oversætte bevægelser til skærmen støder uundgåeligt ind i det faktum, at vi stadig er tredimensionelle væsener, der forsøger at interagere med en todimensionel verden. De fleste Kinect-spil løser dette problem ved at matche os med en avatar på skærmen, der efterligner vores bevægelser. Uanset om vi danser, spiller volleyball eller rafting, udfører figurerne på skærmen en stiliseret version af vores bevægelser uden for skærmen.

En løsning kunne være at bruge lysprojektorer til at skabe virtuelle objekter i det virkelige rum, som vi kan interagere med. Microsoft Research har allerede taget skridt i denne retning med Mobile Surface, et projektorbaseret multitouch-miljø.

skjule