Google afslører neuralt netværk med overmenneskelig evne til at bestemme placeringen af ​​næsten ethvert billede

Her er en vanskelig opgave. Vælg et fotografi fra internettet tilfældigt. Prøv nu at finde ud af, hvor det er taget, kun ved hjælp af selve billedet. Hvis billedet viser en berømt bygning eller et vartegn, såsom Eiffeltårnet eller Niagara Falls, er opgaven ligetil. Men jobbet bliver betydeligt sværere, når billedet mangler specifikke placerings-cues eller er taget indendørs eller viser et kæledyr eller mad eller en anden detalje.

Ikke desto mindre er mennesker overraskende gode til denne opgave. For at hjælpe med bringer de al slags viden om verden, såsom typen og sproget på de udstillede skilte, vegetationstyperne, arkitektoniske stilarter, trafikretningen og så videre. Mennesker bruger et helt liv på at opfange den slags geolokationssignaler.

Så det er let at tro, at maskiner ville kæmpe med denne opgave. Og det har de faktisk.

I dag ændrer det sig takket være arbejdet udført af Tobias Weyand, en computervisionsspecialist hos Google, og et par venner. Disse fyre har trænet en dyb-læringsmaskine til at finde ud af placeringen af ​​næsten ethvert billede ved kun at bruge de pixels, det indeholder.

Deres nye maskine udkonkurrerer mennesker betydeligt og kan endda bruge et smart trick til at bestemme placeringen af ​​indendørs billeder og billeder af specifikke ting såsom kæledyr, mad og så videre, der ikke har nogen placeringsangivelser.

Deres tilgang er ligetil, i hvert fald i verden af ​​maskinlæring. Weyand og co begynder med at opdele verden i et gitter bestående af over 26.000 kvadrater af varierende størrelse, der afhænger af antallet af billeder taget på det sted.

Så store byer, som er genstand for mange billeder, har en mere finkornet gitterstruktur end mere fjerntliggende regioner, hvor fotografier er mindre almindelige. Faktisk ignorerede Google-teamet områder som havene og polarområderne, hvor få billeder er blevet taget.

Derefter oprettede holdet en database med geolokaliserede billeder fra nettet og brugte lokationsdataene til at bestemme gitterfirkanten, hvor hvert billede blev taget. Dette datasæt er enormt og består af 126 millioner billeder sammen med deres tilhørende Exif-placeringsdata.

Weyand og co brugte 91 millioner af disse billeder til at lære et kraftfuldt neuralt netværk at beregne gitterets placering ved kun at bruge selve billedet. Deres idé er at indlæse et billede i dette neurale net og få som output en bestemt gitterplacering eller et sæt af sandsynlige kandidater.

De validerede derefter det neurale netværk ved hjælp af de resterende 34 millioner billeder i datasættet. Til sidst testede de netværket - som de kalder PlaNet - på en række forskellige måder for at se, hvor godt det fungerer.

Resultaterne giver interessant læsning. For at måle nøjagtigheden af ​​deres maskine, fodrede de den med 2,3 millioner geotaggede billeder fra Flickr for at se, om den kunne bestemme deres placering korrekt. PlaNet er i stand til at lokalisere 3,6 procent af billederne med nøjagtighed på gadeniveau og 10,1 procent ved nøjagtighed på byniveau, siger Weyand og co. Desuden bestemmer maskinen oprindelseslandet i yderligere 28,4 procent af billederne og kontinentet i 48,0 procent af dem.

Det er ret godt. Men for at vise, hvor godt de var, satte Weyand og co PlaNet igennem sine trin i en test mod 10 velrejste mennesker. Til testen brugte de et onlinespil, der præsenterer en spiller for en tilfældig visning taget fra Google Street View og beder ham eller hende om at lokalisere dens placering på et kort over verden.

Alle kan spille kl www.geoguessr.com . Prøv det - det er meget sjovt og mere vanskeligt, end det lyder.

Det er overflødigt at sige, at PlaNet fik menneskene til livs. I alt vandt PlaNet 28 af de 50 runder med en median lokaliseringsfejl på 1131,7 km, mens den gennemsnitlige menneskelige lokaliseringsfejl var 2320,75 km, siger Weyand og co. [Dette] lille eksperiment viser, at PlaNet når overmenneskelig ydeevne i opgaven med at geolokalisere Street View-scener.

Et interessant spørgsmål er, hvordan PlaNet klarer sig så godt uden at være i stand til at bruge de signaler, som mennesker er afhængige af, såsom vegetation, arkitektonisk stil og så videre. Men Weyand og co siger, at de ved hvorfor: 'Vi mener, at PlaNet har en fordel i forhold til mennesker, fordi det har set mange flere steder, end noget menneske nogensinde kan besøge, og har lært subtile signaler om forskellige scener, der endda er svære for et berejst menneske at skelne.

De går længere og bruger maskinen til at lokalisere billeder, der ikke har placeringsangivelser, såsom dem, der er taget indendørs eller af specifikke genstande. Dette er muligt, når billeder er en del af album, der alle er taget samme sted. Maskinen kigger ganske enkelt gennem andre billeder i albummet for at finde ud af, hvor de er taget, og antager, at det mere specifikke billede er taget samme sted.

Det er imponerende arbejde, der viser dybe neurale net, der atter bøjer deres muskler. Måske endnu mere imponerende er, at modellen bruger en relativt lille mængde hukommelse i modsætning til andre tilgange, der bruger gigabyte af tingene. Vores model bruger kun 377 MB, hvilket endda passer ind i hukommelsen på en smartphone, siger Weyand og co.

Det er en fristende idé - kraften i et overmenneskeligt neuralt netværk på en smartphone. Det varer bestemt ikke længe nu!

Ref: arxiv.org/abs/1602.05314 : PlaNet—Photo Geolocation with Convolutional Neural Networks

skjule