En startups neurale netværk kan forstå video

I de senere år har forskere fra virksomheder, herunder Google og Facebook, gjort imponerende gennembrud inden for træningssoftware til at forstå, hvad der foregår i billeder, takket være en teknik kendt som deep learning. Nu hedder en startup Clarifai tilbyder en tjeneste, der bruger dyb læring til at forstå video.





Clarifais videobehandlingssoftware kan identificere objekter og scener i video og giver en tidslinje, så du kan hoppe til det sted, hvor et bestemt element vises.

Virksomheden siger, at dets software hurtigt kan analysere videoklip for at genkende 10.000 forskellige objekter eller scenetyper. I en demo givet i sidste uge kl konference om dyb læring , har Clarifais medstifter og administrerende direktør Matthew Zeiler uploadet et klip, der indeholdt optagelser af et varieret alpine landskab. Softwaren skabte en tidslinje med graflinjer, der opsummerer, hvornår forskellige objekter eller scenetyper blev opdaget. Det viste præcis, hvornår sne og bjerge opstod hver for sig og sammen. Softwaren kan analysere video hurtigere, end et menneske kunne se den; i demonstrationen blev klippet på 3,5 minutter behandlet på kun 10 sekunder.

Clarifai tilbyder teknologien som en tjeneste og forventer, at den bliver brugt til ting som at matche annoncer med indhold i onlinevideoer eller udvikle nye måder at organisere videosamlinger og redigere optagelser på.



Dyb læring involverer behandling af data gennem et netværk af simple simulerede neuroner, der er blevet trænet ved hjælp af eksempeldata. Clarifais teknologi opstod i forskning ved New York University, og i 2013 tog virksomheden top fem pladser ved den førende årlige konkurrence for software, der identificerer indholdet af billeder.

Det meste af forskningen på området har indtil videre fokuseret på stillbilleder, ikke video. Clarifai lancerede sidste år en tjeneste til genkendelse af stillbilleder. En anden startup, der bruger deep learning, Til højre , lancerede sin egen videobehandlingstjeneste i slutningen af ​​december.

Alle kan sætte Clarifais nye videosystem på prøve. På dens hjemmeside kan du uploade et videoklip på op til 10 megabyte til analyse. De forskellige objekter eller typer af scener, der registreres, kan omfatte biler, træer eller mennesker. Softwaren kan også anvende mere abstrakte beskrivende begreber, såsom sjov eller samvær.



Zeiler mener, at hans teknologi kan føre til en ny tilgang til at vise annoncering sammen med videoer online. Softwaren kan identificere, hvor i videoen er det optimale sted for en annonce at blive placeret, sagde han.

Virksomheder kan allerede betale for at placere deres annoncer ved siden af ​​videoer af en bestemt type eller dem om et bestemt emne. Zeiler mener, at det at være i stand til automatisk at matche annoncer med bestemte øjeblikke i videoer burde være endnu mere attraktivt for annoncører. Clarifais teknologi kunne for eksempel gøre det muligt for Starbucks at få deres annoncer til at blive vist, når som helst kaffe blev indtaget i optagelser.

Zeiler siger, at han allerede arbejder med virksomheder, der er interesserede i at gøre brug af videoanalyseteknologien. Virksomheden arbejder også på at få softwaren til at gøre mere. To funktioner under udvikling vil lade softwaren automatisk opsummere, hvad der sker i en video og genkende, når en bestemt aktivitet har fundet sted, siger Zeiler.



skjule