At finde det rigtige stykke himmel

Sidste uge kl SIGGRAF , en international konference om computergrafik, præsenterede en gruppe et innovativt system designet til at analysere billeder af himlen. De fleste kommercielle billedsøgningssystemer finder ud af, hvad der er i et billede, ved at analysere den tilknyttede tekst, såsom ordene omkring et billede på en webside eller de tags, der leveres af mennesker. Men ideelt set ville softwaren analysere indholdet af selve billedet. Der er forsket meget på dette område, men indtil videre har intet enkelt system løst problemet. Det nye system, kaldet SkyFinder, kunne give vigtig indsigt i, hvordan man laver et intuitivt, automatisk, skalerbart søgeværktøj til alle billeder.

Søger himlen: SkyFinder opdeler automatisk billedet i stykker og tildeler tags til hver, så brugerne kan finde billeder som dem ovenfor.

Jian Sun , der arbejdede på SkyFinder og er hovedforsker for Visual Computing Group på Microsoft Research , siger, at den traditionelle tilgang til billedsøgning nogle gange fører til useriøse resultater, når en computer fejlfortolker den omgivende tekst. Motorer, der analyserer indholdet af billeder i stedet for tekst, har typisk brug for et billede til at guide søgningen – noget indsendt af brugeren, der ligner det tilsigtede resultat meget. Desværre er et sådant billede måske ikke let for brugeren at finde. Sun siger, at SkyFinder derimod giver gode resultater, samtidig med at det lader brugeren interagere intuitivt med søgemaskinen.

For at søge efter en bestemt slags himmelbillede, indtaster brugeren blot en anmodning i et ret naturligt sprog, såsom en himmel dækket af sorte skyer, med horisonten helt nederst. SkyFinder vil tilbyde foreslåede billeder, der matcher denne beskrivelse.

Hvert billede behandles efter det er tilføjet til databasen. Ved at bruge en populær metode kaldet bag of words, forklarer Sun, er billedet opdelt i små pletter, som hver bliver analyseret og tildelt et kodeord, der beskriver det visuelt. Ved at analysere kodeordenes mønstre klassificerer systemet billedet i kategorier som blå himmel eller solnedgang og bestemmer solens og horisontens position. Ved at udføre dette arbejde offline, siger Sun, kan systemet nemt skaleres til at søge i meget store billeddatabaser. (SkyFinder-databasen indeholder i øjeblikket en halv million billeder.)

Det er også muligt at finjustere søgetermer ved hjælp af en visuel grænseflade. Systemet tilbyder for eksempel en skærm, hvor brugeren kan justere ikoner for at vise de ønskede positioner af solen og horisonten. Disse koordinater føjes til søgningen.

SkyFinder arrangerer billeder logisk på skærmen – for eksempel fra blå himmel til overskyet himmel eller fra dagtimerne til solnedgang. Når brugeren har fundet et billede, hun kan lide, kan hun bruge det til at guide en mere målrettet søgning for at finde lignende billeder.

Systemet indeholder også værktøjer til at hjælpe en bruger med at erstatte himlen på ét billede med himlen fra et andet billede.

Computergrafik har haft enorme succeser i de seneste årtier, men det er stadig umuligt for en gennemsnitlig computerbruger at syntetisere et vilkårligt billede eller video efter deres smag, siger James Hays, der ikke var involveret i forskningen og har en ph.d. i datalogi. fra Carnegie Mellon University. Han mener, at det er vigtigt at udvikle mere sofistikerede værktøjer til uerfarne brugere. Sådanne mennesker kunne bruge et værktøj som SkyFinder til at finde et billede, de ønsker, eller til at foretage justeringer af et eksisterende billede. Hays mener, at SkyFinders vigtigste bidrag er dens brugergrænseflade.

Ritendra Datta, en ingeniør hos Google, som har studeret maskinlæring og billedsøgning, siger, at det fortsat er et af de største åbne problemer i billedsøgning at lade computere forstå, hvad der bliver vist på et billede. SkyFinder ser ud til at være en interessant ny tilgang, der fungerer for én type billede. Datta mener, at fremskridt inden for specialiserede applikationer i sidste ende kan anvendes i en bredere skala.

Han mener dog, at der er hårdt brug for grundige usability-undersøgelser til søgesystemer, der er afhængige af automatisk analyse af billeder.

Sun planlægger at forbedre SkyFinder ved at justere den for at analysere flere attributter på himlen og ved at udvide databasen. For nu, siger han, skal systemer, der automatisk analyserer billeder, trænes helt anderledes afhængigt af, hvilken type billede de arbejder med. Han siger dog, at hans arbejde med SkyFinder kunne bruges til at identificere billeder af himlen blandt en generel billedbank.

skjule