Forvandling af et almindeligt smartphone-kamera til et 3D-kamera

Næsten alle bærer et kamera i dag i kraft af at have en mobiltelefon, men kun få af disse enheder fanger de tredimensionelle konturer af objekter, som et dybdekamera kan.

På kamera: Med nogle få hardwareændringer, såsom en ring af nær-infrarøde LED'er, er et Microsoft LifeCam tilpasset til at fungere som et dybdekamera.

Dybdekameraer vinder hurtigt frem for deres potentiale i enheder i lommestørrelse, hvor ideen er, at hvis vores telefoner fanger konturerne af alt fra gadehjørner til arrangementet af din stue, kan udviklere skabe applikationer lige fra bedre interaktive spil til nyttige. guider for synshandicappede.

Alligevel mens indsatser som Googles Projekt Tango tilføjer dybdekameraer til mobile gadgets, ny forskning fra Microsoft viser, at med nogle simple modifikationer og maskinlæringsteknikker kan et almindeligt smartphone-kamera eller webcam bruges som et 3-D dybdekamera. Idéen er at gøre adgangen til at udvikle 3-D-applikationer lettere ved at sænke omkostningerne og de tekniske adgangsbarrierer for sådanne enheder, og at gøre selve 3-D-dybdekameraerne meget mindre og mindre strømkrævende.

Hænderne op: Forskere hos Microsoft modificerede kameraet på en smartphone, så det kan fange dybden af ​​hænder og ansigter.

En gruppe ledet af Sean Ryan Fanello, Cem Keskin og Shahram Izadi fra Microsoft Research skal præsentere en papir på arbejdet tirsdag på Siggraph, en computergrafik- og interaktionskonference i Vancouver, British Columbia.

For at modificere kameraerne fjernede gruppen det nær-infrarøde filter, der ofte bruges i hverdagskameraer til at blokere normalt uønskede lyssignaler i billeder. Derefter tilføjede de et filter, der kun tillod infrarødt lys igennem, sammen med en ring af flere billige nær-infrarøde LED'er. Ved at gøre det fik de i det væsentlige hvert kamera til at fungere som et infrarødt kamera.

Om ansigt: Med nogle ændringer kan forskere hos Microsoft bruge almindelige kameraer til at kortlægge dybden af ​​hænder og ansigter.

Vi vendte ligesom kameraet på hovedet, konstaterer Izadi.

Microsoft-teamet siger, at det ønskede at bruge den reflekterende intensitet af infrarødt lys som noget i retning af en krydsning mellem et sonarsignal og en fakkel i et mørkt rum. Lyset ville prelle af det nærliggende objekt og vende tilbage til sensoren med en tilsvarende intensitet. Objekter er lyse, når de er tæt på, og dunkle, når de er langt væk - intuitivt for os, når det kommer til synligt lys. Men gruppen skulle træne maskinerne (i dette tilfælde en Samsung Galaxy Nexus-smartphone og et Microsoft LifeCam-webkamera) i det forhold, så kameraet kunne afgøre, om det f.eks. så en stor hånd i det fjerne, eller en lille hånd tæt på.

For dette projekt besluttede forskerne kun at fokusere på én udfordring: modellering af menneskelige hænder og ansigter, ikke alle slags objekter og miljøer. Efter at have opbygget et sæt træningsdata, som inkluderede billeder af hænder, fandt gruppen ud af, at det kunne måle en persons bevægelser med en hastighed på 220 billeder i sekundet. I en demonstration gruppen viste, hvordan sådan sporing kunne bruges til at navigere på et kort, såsom ved at lave gribende bevægelser eller sprede hænder fra hinanden, eller til at spille et simpelt spil, såsom ved næsten at skære en flyvende banan i luften.

Træningshånd: En hånd, der er fanget af et modificeret kamera, der fungerer som et dybdekamera (venstre), bruges af Microsoft-forskeres maskinlæringsalgoritme til at lave et skøn over dets dybde (højre).

Mens træningsdataene fokuserede på ansigter og hænder, trænede gruppen faktisk ikke maskinerne til at genkende hænder eller ansigter, som vi ville tænke på dem, men blot egenskaberne ved hudens refleksion. Den enorme mængde træningsdata gør det muligt for maskinen at bygge nok associationer til datapunkterne i billederne til, at den derefter kan bruge yderligere egenskaber ved billedet til at estimere dybden. Microsoft valgte skin, da det har så mange implikationer for at navigere i Xbox- og Windows-miljøer, men Kohli påpeger, at maskinlæringsteknikkerne kunne overføres overalt.

Den eneste begrænsning er, hvilken slags træningsdata du giver det, siger han. Fremgangsmåden i sig selv kan skræddersyes til at arbejde på ethvert andet scenarie.

skjule