Googles Deep Learning Machine lærer at syntetisere billeder fra den virkelige verden

Google Street View tilbyder panoramaudsigt over mere eller mindre enhver bygade i store dele af den udviklede verden, samt udsigt langs utallige gangstier, inde i indkøbscentre og omkring museer og kunstgallerier. Det er en ekstraordinær bedrift af moderne ingeniørkunst, der ændrer den måde, vi tænker om verden omkring os på.

Men selvom Street View kan vise os, hvordan fjerne steder ser ud, viser det ikke, hvordan processen med at rejse eller udforske ville være. Det er nemt at finde på en løsning: Afspil blot en sekvens af Street View-billeder efter hinanden for at skabe en film.

Men det virker ikke så godt, som du måske forestiller dig. At køre disse billeder med 25 billeder i sekundet eller deromkring får sceneriet til at køre latterligt hurtigt. Det kan være acceptabelt, når landskabet ikke ændrer sig, måske langs motorveje og motorveje eller gennem uforanderlige landskaber. Men det er helt uacceptabelt for travle gadeudsigter eller inde i et kunstgalleri.

Så Google har fundet en løsning: Tilføj flere billeder mellem dem, der er optaget af Street View-kameraerne. Men hvordan skal disse stel se ud?

I dag afslører John Flynn og venner hos Google, hvordan de har brugt virksomhedens store maskinlæringsknowhow til at finde ud af, hvordan disse manglende rammer skal se ud, bare studere rammerne på begge sider. Resultatet er en computerberegnet filmmaskine, der kan forvandle mere eller mindre enhver sekvens af billeder til jævnt kørende film ved at interpolere de manglende billeder.

Udfordringen Flynn og co stiller sig selv er ligetil. Givet et sæt billeder af et bestemt sted, er målet at syntetisere et nyt billede af det samme område fra en anden synsvinkel.

Det er ikke nemt. En nøjagtig løsning ville kræve fuld 3-D viden om al synlig geometri i den usete visning, som generelt ikke er tilgængelig på grund af okkludere, siger Flynn og co.

Faktisk er det et problem, som computerforskere har kløet sig i hovedet over i årtier, og et problem, der er tæt forbundet med problemet med at estimere 3D-formen af ​​en scene givet to eller flere billeder af den.

Dataloger har udviklet forskellige måder at løse dette problem på, men alle lider af lignende problemer, især hvor information mangler på grund af et objekt, der lukker et andet. Dette fører til rivning, hvor der ikke er nok information, og til forsvinden af ​​fine detaljer. En særlig udfordring er genstande, der indeholder fine detaljer og også er selvlukkende, såsom træer.

Flynn og cos nye tilgang er at træne en maskinsynsalgoritme til at finde ud af, hvordan det nye billede skal se ud efter at være blevet trænet på et stort datasæt af sekventielle billeder.

Opgaven for computeren er at behandle hvert billede som et sæt af pixels og at bestemme dybden og farven på hver pixel givet dybden og farven af ​​de tilsvarende pixels i billederne, der vises før og efter det i filmen.

De trænede deres algoritme, kaldet DeepStereo, ved at bruge billeder af gadebilleder optaget af et køretøj i bevægelse. Faktisk bruger de 100.000 af disse sekvenser som et træningsdatasæt.

De testede det derefter ved at fjerne en ramme fra en sekvens af Street View-billeder og bede den om at gengive den ved kun at se på de andre billeder i sekvensen. Til sidst sammenligner de det syntetiserede billede med det, der blev fjernet, hvilket giver dem en slags guldstandard at kontrastere det med.

Resultaterne er imponerende. Samlet set producerer vores model plausible output, som er svære umiddelbart at skelne fra de originale billeder, siger Flynn og co.

Den gengiver med succes vanskelige emner som træer og græs. Og når det svigter, såsom med spejlende refleksioner, gør det det på en yndefuld måde i stedet for ved at rive.

Især håndterer den bevægelige genstande godt. De fremstår slørede på en måde, der fremkalder bevægelsessløring, siger de.

Metoden er dog ikke perfekt. Mærkbare artefakter i vores resultater omfatter et lille tab af opløsning og forsvinden af ​​tynde forgrundsstrukturer, siger Google-teamet. Og delvist okkluderede emner har en tendens til at være overslørede i outputtet.

Det er også beregningsintensivt. Flynn og co siger, at det tager 12 minutter på en multicore-arbejdsstation at producere et enkelt nysyntetiseret billede. Så disse billeder kan ikke produceres med det samme. Teamet forventer dog at forbedre dette i fremtiden ved at optimere billedgenereringsprocessen.

Det er imponerende arbejde, der endnu en gang viser potentialet i deep learning-teknikker. Holdet viser deres resultater i video lagt op her , som viser film lavet ud fra Street View-data.

Men det bør også have andre applikationer til at generere indhold til telekonferencer, virtual reality og film. Det kunne endda reducere arbejdsbyrden for stopframe-animatorer.

Uanset hvad, forvent at se Google Street View-rejsefilm oversvømme internettet i en ikke alt for fjern fremtid.

Ref: arxiv.org/abs/1506.06825 : DeepStereo: Lær at forudsige nye synspunkter fra verdens billedsprog

skjule