Microsofts skinnende nye legetøj

Ved sidste marts måneds Technology, Entertainment, Design (TED) konference i Monterey, Californien, et topmøde, der er blevet beskrevet som Davos for digerati, begyndte den rolige softwarearkitekt fra Microsoft sin demonstration brat og navigerede hurtigt hen over et hav af billeder vist på en stor skærm. Ved at bruge Seadragon, en teknologi, der muliggør jævn, hurtig udforskning af store sæt tekst- og billeddata, dykkede han ubesværet ind i et 300 megapixel kort og zoomede ind for at afsløre et datostempel fra Library of Congress i det ene hjørne. Så vendte han sig mod et billede, der lignede en stregkode, men som faktisk var den komplette tekst af Charles Dickens Dystre Hus , der zoomer ind, indtil to skarpkantede skrifttegn fyldte skærmen, før den blæsende zoomede tilbage til den gigantiske dyne af tekst og billeder.

Du er her: Photosynth, en applikation under udvikling hos Microsofts Live Labs, tilbyder en fordybende måde at se billeder af en given ting eller et givet sted. Softwaren er endnu ikke udgivet, men Microsoft demonstrerer den online med fotosamlinger som denne af Venedigs Markusplads.

Microsoft havde erhvervet Seadragon året før – og med det præsentationsværten, Blaise Agüera y Arcas. Men Agüera y Arcas var ikke kommet til TED bare for at vise Seadragon frem. Snart skar han til et panorama flisebelagt sammen fra billeder af de canadiske Rockies; mosaikken skiftede, mens han panorerede hen over den, og afslørede en dramatisk højderyg. Dernæst kom et luftbillede af, hvad der så ud til at være en model af en velkendt bygning: Notre Dame-katedralen. Modellen, forklarede Agüera y Arcas, var blevet samlet ud fra hundredvis af separate billeder samlet fra Flickr. Det var en punktsky – et sæt punkter i tredimensionelt rum.

Denne historie var en del af vores marts 2008-udgave

• Se resten af ​​problemet
• Abonner

Mens han talte, navigerede Agüera y Arcas drillende rundt i periferien af ​​Notre Dame, som gentagne gange blev levende og dæmpede igen. Effekten af ​​at skynde sig gennem skiftende billeder og fokuspunkter blev blødgjort af subtile overgangseffekter. Det føltes som en bevidst langsommere rulle af billede-for-billede animation; effekten var rystende. Publikum så undrende på, mens Agüera y Arcas skubbede dybere ind i forsiden af ​​bygningens buegang og sluttede med et tæt nærbillede af en gargoyle. Nogle af de billeder, teknologien havde tegnet på, var ikke engang strengt fotografiske: Den havde søgt på Flickr efter alle relevante billeder, inklusive en plakat af katedralen. Det, som Agüera y Arcas demonstrerede, var ikke video, men det var heller ikke blot en samling af billeder, selv en gigantisk. Det var også som et kort, men et fordybende et animeret af drømmelogikken med at sløre former og skiftende perspektiver.

Dette var Photosynth – en teknologi, der analyserer relaterede billeder og forbinder dem for at genskabe fysiske miljøer i et blændende virtuelt rum. Teknologien skaber et metavers, sagde Agüera y Arcas (for mere om den begyndende blanding af kortlægningsteknologier som Google Earth og de fantastiske riger af spil som Second Life, se Second Earth, juli/august 2007); men det udgør også den lange hale af Virtual Earth, Microsofts konkurrent til Google Earth, på grund af dets evne til at trække fra og bidrage til det væld af lokale kort- og billeddata, der er tilgængelige online. Det kunne give uhyre rige virtuelle modeller af enhver interessant del af jorden, sagde han, indsamlet ikke kun fra luftflyvninger og fra satellitbilleder og så videre, men fra den kollektive hukommelse. På hvilket tidspunkt præsentationen sluttede lige så brat, som den var begyndt omkring seks minutter tidligere. Agüera y Arcas' afsluttende udtalelse mødte en torden af ​​klapsalver.

Multimedier

• Se billeder fra Photosynth og se, hvordan det virker.

• Se Photosynth stitch-billeder sammen.

Beyond Image Stitching
Photosynth blev født ud fra, hvad Agüera y Arcas kalder ægteskabet mellem Seadragon og Photo Tourism, et Microsoft-projekt, der har til formål at revolutionere den måde, fotosæt pakkes og vises på. Fototurisme var begyndt som doktorafhandlingen for en nidkær 26-årig kandidatstuderende fra University of Washington ved navn Noah Snavely. En af Snavelys rådgivere var Rick Szeliski, en computervisionsforsker hos Microsoft Research, virksomhedens R&D-afdeling. Jeg beskrev behovet for de gode elementer i et stærkt diasshow, som fantastisk komposition, husker Szeliski, hvis tidligere arbejde hos Microsoft havde hjulpet med at udvikle den billedsammensætningsteknologi, der nu almindeligvis bruges i digitale kameraer til at fylde en bredere eller højere ramme. Han søgte også flydende mellem billeder og en følelse af interaktivitet ved at se dem.

I samarbejde med Szeliski og en professor ved University of Washington ved navn Steve Seitz, var Snavely opsat på at kode en vej frem gennem en beregningsmæssigt forbydende udfordring: hvordan man får fotos til at smelte sammen, på grundlag af deres ligheder, til en fysisk 3-D-model, som mennesker øjne kunne genkende som en del af et autentisk landskab i den virkelige verden. Desuden skulle modellen være en, som brugerne kunne navigere og opleve rumligt. Eksisterende software til fotosyning, der blev brugt i elektroniske enheder, såsom digitale kameraer, vidste, hvordan man kunne udlede relationer mellem billeder fra den sekvens, hvori de var blevet taget. Men Snavely forsøgte at udvikle software, der var i stand til at foretage sådanne vurderinger på en helt anden måde. Han udtænkte en to-trins proces: I det første trin identificerer vi fremtrædende punkter i alle 2-D-billederne, siger han. Derefter forsøger vi at finde ud af, hvilke punkter i forskellige billeder, der svarer til det samme punkt i 3-D.

Processen, siger Snavely, kaldes 'struktur fra bevægelse.' Grundlæggende kan et bevægeligt kamera udlede 3-D-struktur. Det er den samme idé, som når du bevæger hovedet frem og tilbage og kan få en bedre fornemmelse af 3D-strukturen af ​​det, du ser på. Prøv at lukke det ene øje og flytte dit hoved fra side til side: du kan se, at forskellige punkter på forskellig afstand vil bevæge sig forskelligt. Dette er den grundlæggende idé bag struktur fra bevægelse.

Computer vision, som Agüera y Arcas forklarer, nyder godt af en enkel forsikring: alle rumlige data er kvantificerbare. Hvert punkt i rummet har kun tre frihedsgrader: x, y og z, siger han.

Egenskaber, der deles af visse fotos, tilføjer han, hjælper med at markere dem som ens: en markant formet belægningssten kan for eksempel dukke op gentagne gange. Når softwaren genkender ligheder - stenen på dette billede vises også i den - ved den at søge yderligere ligheder. Processen med at samle billeder på basis af matchende visuelle elementer samler således damp, indtil en hel sti kan genskabes fra disse belægningssten. Jo flere billeder systemet starter med, jo mere realistisk bliver resultatet, især hvis de originale billeder er taget fra en række forskellige vinkler og perspektiver.

Det skyldes, at den anden beregningsøvelse, siger Snavely, er at sammenligne billeder, hvor delte funktioner er afbildet fra forskellige vinkler. Det viser sig, at den første proces hjælper den anden og giver os information om, hvor kameraerne skal være. Vi er i stand til at gendanne det synspunkt, hvorfra hvert billede blev taget, og når brugeren vælger et billede, tages de til det synspunkt. Ved at placere et synspunkt for hvert billede – ved at beregne hvor kameraet skal have været, da billedet blev taget – kan softwaren efterligne den måde, kikkertsyn fungerer på, hvilket giver en 3D-effekt.

Som Szeliski dog vidste, er det menneskelige øje den mest vægelsindede af kritikere. Så han og hans to kolleger søgte at gøre mere end blot at stykke mindre dele til en større helhed; de arbejdede også på overgangseffekter, der skulle lade billeder mødes så problemfrit som muligt. De teknikker, de raffinerede, omfatter opløser eller falmer den karakteristiske metode, hvormed film- og videoredigerere blander billeder.

I en demo, der viste Trevi-fontænen i Italien, opnåede Photo Tourism en opstyltet, rudimentær version af, hvad Photosynth ville producere: en punktsky samlet af billeder, der repræsenterer forskellige perspektiver på et enkelt sted. Mere imponerende var softwarens evne til at tøffe gennem banker af billeder downloadet fra Flickr baseret på beskrivende tags - fotos, der selvfølgelig ikke var blevet taget med det formål at producere en model. Resultatet, husker Szeliski, var overraskende og frisk selv for hans veterans øjne.

Det, vi havde, var en ny måde at visualisere en fotosamling på, et interaktivt diasshow, siger Szeliski. Jeg tror, ​​at Photo Tourism var overraskende af forskellige årsager til insidere og outsidere. Insiderne var forvirrede over den overbevisende lette oplevelse. De udenforstående, siger han, kunne næsten ikke tro, at det overhovedet var muligt.

Og alligevel havde Photo Tourism-applikationen en usikker fremtid. Selvom det var en teknisk åbenbaring, udviklet i Linux og i stand til at køre på Windows, var det stadig meget en prototype, og køreplanen for at udvikle den yderligere var uklar.

I foråret 2006, da Snavely præsenterede Photo Tourism på en intern Microsoft-workshop, gik Blaise Agüera y Arcas, dengang en ny medarbejder, forbi og lagde mærke til det. Han var ankommet for nylig takket være opkøbet af hans firma, Seadragon, som udviklede en softwareapplikation, han beskriver som en 3-D virtuel hukommelseshåndtering til billeder. Seadragons iøjnefaldende appel lå i dens evne til at lade brugere indlæse, gennemse og manipulere hidtil usete mængder visuel information, og dens store tekniske præstation var dens evne til at gøre det over et netværk. (Photosynths evne til at arbejde med billeder fra Flickr og lignende kommer dog fra teknologi, der stammer fra Photo Tourism.)

Agüera y Arcas og Snavely begyndte at tale sammen den dag. I sommeren 2006 blev demoer præsenteret. Det resulterende hybridprodukt – dels Photo Tourism og dels Seadragon – samler en stor klynge af lignende billeder (uanset om det er fotos eller illustrationer), og væver dem ind i en 3-D visuel model af deres virkelige verden. Det giver endda tredimensionalitet til områder, hvor 2-D-billederne mødes. Hvert enkelt billede er gengivet med perfekt troskab, men i overgangene mellem dem udfylder Photosynth de perceptuelle huller, der ellers ville forhindre en samling af fotos i at føles som en del af et bredere perspektivbillede. Og udover at være en visuel analog til en virkelig scene, er den syntetiserede model fuldt navigerbar. Som Snavely forklarer, er den dominerende navigationsmetode at vælge det næste billede, der skal besøges, ved at klikke på kontrollerne, og systemet flytter automatisk udsigtspunktet i 3D til den nye placering. Et omstrejfende øje er en god metafor for dette. Softwaren genskaber det fotograferede motiv som et sted, der skal værdsættes fra alle dokumenterede vinkler.

Photosynths opsigtsvækkende tekniske præstation er som at trække en kanin fra en hat: den producerer en naturtro 3D-grænseflade fra fotografiets 2D-medie. Dette er noget ud af ingenting, siger Alexei A. Efros, en Carnegie Mellon-professor med speciale i computersyn. Hemmeligheden, forklarer Efros, er mængden af ​​fotografier. Efterhånden som man får flere og flere visuelle data, bliver kvantiteten til kvalitet, siger han. Og efterhånden som du får fantastiske mængder data, begynder den at fortælle dig ting, du ikke vidste før. Takket være forbedret mønstergenkendelse, indeksering og metadata kan maskiner udlede tredimensionalitet. Hurtigere end vi forventer, siger Efros, vil syn være den primære sensor for maskiner, ligesom det er nu for mennesker.

Microsoft demonstrerer Photosynth online med fotosamlinger som denne af Venedigs Markusplads. Optagelserne i denne samling blev taget af en enkelt fotograf over 10 dage.
Kredit: Udlånt af Microsoft Live Labs

Hvad det kan blive
Microsofts arbejde med Photosynth eksemplificerer virksomhedens strategi for de 100 personer stærke Live Labs. Dels webbaseret skunk fungerer, dels rekrutteringsområde for propelhoveder, som virksomhedens forælder ikke passer godt til, Live Labs sigter dels på at udfordre, hvad folk tror, ​​Microsoft handler om, siger Gary Flake, en 40-årig teknisk fellow, der er laboratoriets grundlægger og direktør. Dets mere umiddelbare mål er at bringe webteknologier på markedet.

Flakes pitch om Live Labs-kulturen er energisk, da han taler om sine bestræbelser på at bygge bro mellem forskningsvidenskab og produktteknik. Flake, som har arbejdet for adskillige forskningsorganisationer, herunder NEC Research Institute og Yahoo Research Labs, som han grundlagde og også drev, beskriver dette som en branchedækkende udfordring. Hos Live Labs har vi en bevidst hedge-portefølje, forklarer han. Vi har en meget interessant blanding, der omfatter 40 forskellige projekter.

Flake er uvillig til at diskutere mange af sine projekter i detaljer, men han er fuld af begejstring over sit mandat til at bringe mere DNA ind i vejen for rå talent. Vi ønsker at skabe og fremme tilstanden af ​​internetprodukter og -tjenester, siger han, men han taler også passioneret om Live Labs-medarbejdere som menneskelige Rosetta-sten, der kan tjene som oversættere i en F&U-verden, hvor ingeniører og videnskabsmænd ofte i virkeligheden taler anderledes Sprog.

Photosynth-projektet, siger Flake, er indbegrebet af den form for succes, han ønsker at forkæmpe gennem sine bestræbelser på at overvinde den traditionelle kløft mellem videnskab og produktteknik. Det repræsenterer et seriøst fremskridt inden for den nyeste teknologi.

I øjeblikket kan Photosynth kun ses i en online demo, men Agüera y Arcas' team håber at frigive den inden udgangen af ​​året. Hvad en person, der anskaffer det, rent faktisk kan gøre med det, skal vise sig. Punktskyer kan laves fra så få som to eller tre billeder, så man kan forestille sig, at brugere skaber relativt usofistikerede synths af deres egen fotografering - af for eksempel en familietur til Mount Rushmore. (Selvfølgelig kan folk, der har Photosynth, begynde at tage mange flere billeder af et givet sted, for at kunne lave en rig synth senere). Men det kan også være, at brugere vil benytte sig af onlinebiblioteker med fotos – hvilket vil sandsynligvis skulle downloades til en lokal computer - for at skabe deres egne synths af højt fotograferede websteder.

Alligevel er Photosynth for det meste løfte med få beviser. Der er mange tekniske spørgsmål om, hvor nemt det vil være at bruge, og hvad dets egenskaber præcist vil være. På trods af Linux-oprindelsen af ​​Photo Tourism vil Photosynth kun forblive Windows i en overskuelig fremtid.

Og trods al Photosynths umiddelbare appel, forbliver dens applikationer også uklare. Verden har ikke brug for en anden billedbrowser, heller ikke en banebrydende. Det virker endnu mere usandsynligt, at brugere ville betale for Photosynth i sin nuværende form. I mellemtiden vil Photosynths formuer afhænge af, om det kan opbygge et bredt baseret fællesskab af brugere. Vil det tage nye anvendelser for dem, der tager det til sig, som Google Earth har gjort? Endnu vigtigere, vil Microsoft frigive et endeligt produkt, der er tilstrækkelig åbent til, at et sådant fællesskab kan søge andre anvendelser end dem, der oprindeligt var tiltænkt?

Flake rapporterer, at Photosynth-teamet har fremtryllet snesevis af potentielle anvendelser, hvoraf to ser særligt sandsynlige ud.

Den ene er at integrere det mere fuldstændigt med Microsoft Virtual Earth, hvilket gør det til det værktøj, der tager brugerne til næste trin i dyb zoom. Med Virtual Earth, der håndterer topografi og luftfotografering, mens Photosynth koordinerer et væld af jordbaseret fotografisk materiale, kunne de to applikationer give anledning til en slags letvægts-metavers, for at bruge det udtryk, som Agüera y Arcas påberåbte sig på TED.

Med at bemærke Photosynths anlæg med bygninger og bypladser, forestiller Seitz sig også en opskalering i stor stil. Vi vil gerne indfange hele byer, siger han. Faktisk annoncerede Agüera y Arcas og Stephen Lawler, general manager for Microsofts Virtual Earth-projekt, i august 2007 i Las Vegas, på den årlige hacker-konvent Defcon, at de planlægger et partnerskab. Når nogle relativt små tekniske forhindringer er ryddet, siger Seitz, er der intet, der forhindrer os i at modellere byer.

Efterhånden som folk skaber og gemmer stadig større mængder af digitale medier, kan Photosynth endda gøre det muligt for brugere at lifecast deres familiefotoalbum. Tænk, hvis du kunne se dine børn vokse op i dit eget hus, siger Flake, lige fra din fotosamling.

Da sådanne ideer siver, sidder Photosynth-teamet næsten ikke stille. Sidste sommer udgav forskerne et online demo-samarbejde med NASA, og nu arbejder de sammen med Jet Propulsion Lab om at syntetisere en lille del af overfladen på Mars.

Man spekulerer på, hvor langt Microsoft er villig til at bankrolle denne form for nørd. Så igen, som Agüera y Arcas og Flake spørger retorisk, hvordan sætter man værdi på denne form for teknisk præstation? For selvom Photosynth tilsyneladende mangler en klar vej til markedet, virker det også fuldstændig mangelfuldt i konkurrence.

Jeffrey MacIntyre er freelancejournalist, der skriver meget om kultur, videnskab og teknologi.

skjule