Twitters kunstige intelligens ved, hvad der sker i live-videoklip

Lige nu er der et eller andet sted, der livestreamer noget interessant. Takket være teknologi, der er udviklet af et team af kunstig intelligens-forskere på Twitter, kan du måske snart finde den.

Livestreaming bliver stadig mere populært gennem smartphone-apps som f.eks Periskop fra Twitter, Meerkat , og senest, Facebook Live . Men live videoindhold er normalt ikke mærket eller kategoriseret godt, ofte fordi folk ikke ved, hvad de vil optage, før kameraet begynder at rulle.

Twitters AI-team, kendt som Cortex , har udviklet en algoritme, der øjeblikkeligt kan genkende, hvad der sker i et live-feed. Algoritmen kan for eksempel fortælle, om stjernen i et klip spiller guitar, demoerer et elværktøj, eller faktisk er en kat, der slår det op for seerne.

Indhold ændrer sig altid på Periscope og mere generelt på livevideoer, siger Clement Farabet, der er teknologisk leder for Cortex. Farabet demonstrerede videogenkendelsesteknologien til MIT Technology Review, viser en skærm med omkring to dusin Periscope-feeds, som alle er tagget i realtid.

At identificere indholdet af live video er et ret imponerende trick. Forskere har gjort imponerende fremskridt i de senere år med algoritmer, der kan identificere objekter på fotografier, men det er meget sværere at gøre med en live-video af varierende kvalitet. For at gøre det med det samme kræver det også betydelig computerkraft. Twitter byggede effektivt en brugerdefineret supercomputer udelukkende lavet af grafikbehandlingsenheder (GPU'er) til at udføre videoklassificeringen og servere resultaterne. Disse chips er særligt effektive til de matematiske beregninger, der kræves til dyb læring, men normalt er de kun en del af et større computersystem.

Det er noget af en udfordring selv for statiske videoer, og for runtime-videoer skal de have en masse processorkraft, siger Peter Brusilovsky , en professor ved University of Pittsburgh, der studerer personalisering af indhold.

Brusilovsky siger, at der er hårdt brug for bedre måder at filtrere video på. Videoer er generelt ikke skumbare, siger han. Som følge heraf er anbefaling meget vigtig. Det er lidt af det manglende stykke video.

Anbefaling af videoer involverer normalt at vise en person klip, der er blevet set af en anden, der ser ud til at have lignende smag (en fremgangsmåde kendt som kollaborativ filtrering). Dette er dog en grov målestok for reel interesse, og det virker ikke for indhold, der sendes live.

Cortex-teamet har ambitioner om at udvikle et sofistikeret anbefalingssystem til at hjælpe med at filtrere og kurere alle former for indhold, der deles gennem tjenesten, baseret på en brugers tidligere aktivitet.

Videogenkendelsesteknologien udviklet af Cortex-teamet har endnu ikke indgået i nogen af ​​Twitters produkter, men den bliver testet på Periscope, en app ejet af Twitter, der lader brugere overføre live video fra deres smartphones. Holdet bruger en tilgang kendt som deep learning til at genkende aktiviteten i klip. Dyb læring involverer træning af et stort simuleret neuralt netværk til at genkende input fra et stort antal eksempler. Eksemplerne er leveret af personale, der er betalt for at se videoer og tilføje nøgleord. Denne tagging-proces giver en ret kompleks semantisk forståelse af videoklip. For eksempel kan en video, der viser en kat, kategoriseres ikke kun med kat, men også dyr, katte, pattedyr og mere. Dette giver en mere sofistikeret måde at udforske klip på.

Live video er hurtigt ved at blive en vigtig del af det sociale medielandskab.

Twitter købte Periscope i januar 2015, før appen overhovedet var lanceret, for et beløb, der angiveligt oversteg $50 millioner. Dette fulgte udbruddets succes med Meerkat, en anden app knyttet til Twitter. Facebook lancerede sin egen live-videotjeneste tidligere i 2015, og virksomheden øgede funktionens fremtrædende plads tidligere på måneden ved at tilføje den til den hjemmeside, hver bruger ser.

Der er endnu ingen planer om at tjene penge på teknologien, og Periscope har i øjeblikket ikke reklamer. Men det er ikke svært at forestille sig, hvordan et sådant værktøj kan være nyttigt til annoncering ved algoritmisk at matche annoncer med indholdet af videoer, efterhånden som de filmes og udsendes. Efterhånden som flere og flere videoer flytter online, kan algoritmen faktisk hjælpe Twitter med at skræddersy annoncer til sådant indhold meget mere effektivt. Navnlig vandt virksomheden i denne måned retten til at sende visse NFL-optagelser live.

Ben Edelman , en lektor ved Harvards Berkman Center og en ekspert i onlinemedier og reklamer, siger, at teknikken udviklet af Twitter kan vise sig at være vigtig til at bortfiltrere ophavsretligt beskyttet indhold såvel som uønsket indhold såsom pornografi eller vold.

Men Farabet er lige så interesseret i at finde ting, folk gerne vil se. At have en evne til virkelig at forstå, hvad du er interesseret i - fuldstændig uafhængigt af, hvem der har produceret det, eller hvornår det blev produceret - er en grundlæggende evne, som vi virkelig gerne vil have, siger han.

skjule