211service.com
En ny dimension til dine billeder
Når du ser på fotoprintene fra din Washington, D.C., kan ferie fremkalde minder om at være på rigtige, tredimensionelle steder som Lincoln Memorial. Men hvad nu hvis du rent faktisk kunne gå ind i dit fotografi og stå ved Lincolns fødder igen – eller i det mindste zoome ind i en 3D-version af dit billede på en computerskærm? En ny webtjeneste kaldet Fotowoosh lover at levere sådan en oplevelse takket være computervisionsforskere ved Carnegie Mellon University i Pittsburgh.
Det store billede: Fotowoosh's webbaserede system forvandler flade, todimensionelle billeder til zoombare 3D-scener ved hjælp af maskinlæringsalgoritmer, der underinddeler et billede i områder, der repræsenterer jorden (grøn i det falske farvebillede), lodrette overflader (pile) og himmel ( cirkler). Disse overflader foldes derefter til en 3D-model, der ligner en pop-up-illustration i en børnebog. For at undersøge et eksempel på en Fotowoosh-model i 3D skal du downloade både en .wrl-fil fra Fotowoosh-webstedet og en 3D-fremviserudvidelse til dine webbrowsere.
Derek Hoiem , en ph.d.-kandidat hos Carnegie Mellon's Robotics Institute , har brugt det seneste halvandet år på at finde ud af, hvordan man får software til at konvertere flade billeder til 3D virtual-reality-modeller, der kan manipuleres på skærmen. Arbejder med fakultetsmedlemmer Alexei Efros og Martial Hebert , Hoiem kom op med et maskinlæringssystem, der identificerer forskellige overflader og deres orienteringer baseret på, hvad det har lært fra at undersøge tidligere fotos. Kort sagt frigør Fotowoosh den person, der ser et fotografi fra fotografens synsvinkel, så han eller hun kan udforske andre perspektiver end det, kameraet faktisk fangede.
Nu Freewebs , en Silver Spring, MD, virksomhed, der er vært for 14 millioner personlige websteder, er ved at lancere en forbrugerversion af Hoiems software på nettet. Freewebs præsident Shervin Pishevar siger, at han håber, at webbrugere vil uploade tusindvis af fotografier til Fotowoosh og dele 3-D-versionerne med andre besøgende, hvilket gør tjenesten til, hvad han kalder en 3-D Flickr. Flickr er selvfølgelig Yahoos meget populære fotodeling og sociale netværksside.
En testversion af Fotowoosh-systemet vil blive lanceret i maj, siger Pishevar. Systemet fungerer bedst på udendørs billeder. Konverterede fotos ligner lidt illustrationerne i pop-up-bøger til børn: der er en tydelig bund svarende til den flade side i en pop-up-bog, og lodrette flader står vinkelret på jorden og repræsenterer objekter som vægge, træer, og køretøjer. Billederne vises inde på en webside, der er indlæst med en speciel fremviser med kontroller til at zoome, panorere og rotere 3D-modellen. Mens softwaren bogstaveligt talt tilføjer en ny dimension til gamle turistbilleder, kan den i fremtiden også bruges til formål som robotnavigation eller opbygning af fotorealistiske 3D virtuelle verdener.
Multimedier
Video: En ny dimension til dine fotografier
Hoiem siger, at softwaren efterligner nogle af de tricks, vores hjerner bruger til at give dybde til de todimensionelle billeder, der konstant lander på vores nethinder. Traditionelle (ikke-stereoskopiske) kameraer har kun ét øje sammenlignet med vores to. Det betyder, at de ikke kan drage fordel af parallakse - det fænomen, hvor vores højre og venstre øje ser nærliggende objekter i lidt forskellige positioner i forhold til objekter længere væk - for at få et stereobillede. Faktisk er det matematisk umuligt for software at beregne formen af en 3-D-scene ud fra et enkelt todimensionelt billede med 100 procent sikkerhed, da objekterne i scenen teoretisk set kan være en hvilken som helst afstand væk. Men folk kan gøre det, bemærker Hoiem. Det er bare, at der ikke er en simpel algebraisk løsning.
Faktisk er parallakse ikke strengt påkrævet for 3D-syn: Hvis du lukker det ene øje, bliver verden ikke flad. Hjernen udleder dybde ved hjælp af alle mulige signaler såsom skygge, farve, bevægelse og vores lærte erfaring om de rumlige forhold mellem gulve og vægge eller mellem gader og bygninger. Det viser sig, at ved at bruge en ret simpel model - at tænke på verden i form af en jordoverflade, lodrette overflader, der stikker op af den, og himlen - kan du skabe ret overbevisende 3-D-modeller, siger Hoiem.
Softwaren, som han, Efros og Hebert udviklede, begynder at konvertere et billede ved at forsøge at gruppere hver pixel i et todimensionelt billede i en af disse klasser. Himlen er normalt den nemmeste - den er blå eller hvid. Den øverste og nederste kant af de fleste billeder er justeret med horisonten, hvilket hjælper softwaren med at identificere jordplanet. Og vinduerne i en etagebygning er ofte arrangeret i parallelle linjer med et fælles forsvindingspunkt - en stærk indikation af en lodret overflade.
Men Hoiem lærte ikke eksplicit softwaren disse regler. Systemet er baseret på maskinlæringsalgoritmer, hvilket betyder, at det finder ud af sine egne tommelfingerregler ved at genkende statistiske mønstre i hundredvis af billeder, hvor jorden, himlen og lodrette overflader er blevet præmærket af mennesker.
Vi skulle heldigvis ikke starte helt fra bunden, siger Hoiem. Der har været meget arbejde med, hvordan vi repræsenterer farve og tekstur og struktur. Der findes en eksisterende algoritme til at genkende forsvindingspunktet for en gruppe af linjer. Og folk har arbejdet meget med at genkende genstande som mennesker eller biler. Men ingen havde troet, at du måske kan kombinere alle disse og lære at genkende en scenes faktiske geometri.
Når Fotowoosh har identificeret de vigtigste overflader i en scene, forbinder den dem til en 3D-model ved hjælp af Virtual Reality Markup Language-filformatet eller VRML. Softwaren skræller dele af det todimensionelle billede af og indsætter dem på de passende overflader i modellen, en proces kaldet teksturmapping.
I øjeblikket kan de færdige modeller kun ses i en webbrowser udstyret med en speciel udvidelse til visning af VRML-filer. Men i betaversionen af Fotowoosh, som kommer i næste måned, vil modellerne blive vist ved hjælp af det mere almindelige Flash-format, der allerede er inkluderet i de fleste browsere, ifølge Pishevar. (Det Fotowoosh hjemmeside inkluderer en video, der demonstrerer slutproduktet for flere eksempelbilleder.)
Lige nu er systemet ikke særlig godt til at adskille diskrete objekter, der skal være i forgrunden, såsom fodgængere i et gadebillede, fra baggrundsflader, såsom vægge. Men det arbejder Hoiem på. Om et år eller muligvis mindre, vil du være i stand til at tage et billede af en gyde med alle slags biler og mennesker og skabe en 3-D-model, hvor de alle ses som separate 3-D-forgrundsobjekter, siger han.
Omkring 17.000 mennesker har skrevet sig på ventelisten til beta-softwaren, ifølge Pishevar. Besøgende vil være i stand til at uploade og konvertere deres egne billeder til 3-D-modeller og gemme dem i et galleriområde, og Freewebs-medlemmer vil være i stand til at integrere modellerne på deres egne websider.
Pishevar siger, at Freewebs henvendte sig til Hoiem om at kommercialisere hans arbejde, fordi det stemmer meget overens med vores vision om at transformere den slags personlige medier, der kan leve på en visuel webside. Det er en af de teknologier, der ændrer den måde, du ser tingene på i verden, og hvad du tror er muligt.
I sidste ende kunne Hoiems arbejde ændre den måde, robotter bruger computersyn til at navigere gennem forhindringsstrøede miljøer. Hoiem siger, at han og hans kolleger også arbejder på måder at skabe mere komplicerede 3-D-modeller ved at behandle flere fotografier af det samme område. Derudover arbejder de på ideen om at animere 3D-scener, såsom travle gader, ved at forudsige retningerne, fodgængere og biler ville have bevæget sig i løbet af flere sekunder efter klik på fotografens lukker.
Fordi Fotowoosh-modellerne overholder et standard 3-D-format, VRML, kunne de nemt importeres til andre 3-D-applikationer, såsom modelleringssoftware; fordybende virtuelle verdener, såsom Linden Labs Second Life; og virtuelle globussystemer, såsom Google Earth og Microsoft Virtual Earth. Evnen til at skabe teksturkortlagte 3-D-bygninger inde i disse verdener ud fra nogle få todimensionelle fotos ville være et stort fremskridt i forhold til nuværende metoder, som involverer at konstruere en 3-D-model ud fra tegninger eller andre data og derefter manuelt indsætte fotografier på hver side. Det er bare ikke skalerbart, siger Pishevar. Men hvis du har folk, der uploader milliarder af 3D-billeder fra hele verden ... så kan du komme til det punkt, hvor du bygger applikationer, der bruger modellerne til automatisk at udfylde landskaber af virtuelle jorder.
Pishevar siger, at Freewebs med tiden vil levere en applikationsprogrammeringsgrænseflade eller API, som softwareudviklere kan bruge til at skabe netop sådanne mashups. Adspurgt om hans virksomhed allerede er i diskussioner med folk som Google eller Linden Lab, er Pishevar kejt: Vi kan faktisk ikke kommentere på det lige nu.