Nu kan du bruge emojis til at søge efter søde kattevideoer

I et træk, der gør det muligt problemfrit at kombinere din kærlighed til emojis med yndige dyrevideoer, har en gruppe forskere bygget en prototype af en søgemaskine, der bruger de små ikoner til at søge efter videoer.





Hedder Emoji2Video , blev søgemaskinen lavet af forskere ved University of Amsterdam og Qualcomm Research som en måde at vise, hvordan emojis kan bruges til at give en tæt, letforståelig repræsentation af, hvad der sker i billeder og videoer - noget du kan forstå uanset hvilket sprog du taler, eller om du kan læse eller ej.

Besøgende på webstedet kan klikke på en eller flere emojis fra en samlet liste på 385 (den nuværende fulde liste kurateret af en gruppe kaldet Unicode Consortium indeholder næsten 1.300 af dem, men forskerne udelukkede dem, de ikke troede ville være så relevante for videosøgninger, som symboler og tal, og dem, der var noget duplikative). De piktogrammer, du vælger, vil blive brugt til at søge i et datasæt med 45.000 YouTube-videoer efter relevante match.

Det er en måde at bore meget hurtigt ned til den meget specifikke ting, du leder efter, siger Spencer Cappallo , en kandidatstuderende ved University of Amsterdam og medforfatter til papiret.



Forskere præsenterer Emoji2Video og et papir, der forklarer den underliggende teknologi, der bruges til at få søgemaskinen til at fungere i denne uge på en teknologikonference i Brisbane, Australien.

Emojis blev skabt i Japan i 1990'erne og er blevet mere og mere populære i de senere år, da smartphone-producenter har tilføjet dem til virtuelle tastaturer, hvilket gør det nemt at sætte punktum for en tekstbesked med et lille pink hjerte eller en lillebitte martini.

Ikonerne bruges så hyppigt, at nogle onlinetjenester allerede lader brugere søge via emojis: Microsofts Bing-søgemaskine vil acceptere emoji-forespørgsler, mens Yelp vil lade dig søge efter virksomheder ved at indtaste f.eks. en kylling-emoji i stedet for ordet kylling. Cappallo siger, at forskerne ønskede at fokusere på video især, fordi de ikke havde set meget arbejde med, hvordan man relaterer emojis til billeder og videoer, og omvendt.



Forskerne brugte deep-learning-teknikker til at producere emoji-etiketter til videoer, der ser ud til at repræsentere det, der er i dem (for eksempel en baseball eller en hund) og til at bestemme, hvor sandsynligt det er, at disse ting er i en given ramme. Omkring én ud af hver 50 billeder blev analyseret, siger Cappallo, og de emojis, der er valgt til at repræsentere dem, er gennemsnittet for at få en kort emoji-liste, ordnet i faldende tillid, for den pågældende video.

Jeg prøvede at give Emoji2Video et par spørgsmål med stigende sværhedsgrad, bare for at se, hvor det ville tage mig hen. Først gav jeg den en simpel test ved kun at vælge katte-emojien. Resultaterne inkluderede et link til en video, der viser en kat slikke græs i en andens baghave, en anden reklame for et kattelegetøj og så videre. I en anden søgning brugte jeg emojis til bikini og cykel, og fik en video af to kvinder i bittesmå to-stykker, der vasker en Harley. I en tredje søgning prøvede jeg tre emojis på én gang: et vredt ansigt, en fødselsdagskage og en kamel. Det øverste videoresultat dækkede to ud af de tre, da det skildrede en, der viste en imponerende fødselsdagskage med Angry Birds-tema.

Det er klart, at søgemaskinen stadig er i sin vorden, og den søger kun i en lille brøkdel af de tilgængelige videoer på YouTube, men forskerne siger, at det ikke ville være svært at tilføje flere, og de planlægger at gøre det. Cappallo siger, at på dette tidspunkt er topresultater nogle gange ikke repræsentative for den emoji, du søger med, fordi datasættet simpelthen ikke indeholder en video med den specifikke ting.



Ud over video, siger Cappallo, kan arbejdet være nyttigt til at skabe små, ikondrevne resuméer af fotoalbum, eller til at få information fra små skærme, såsom smarture, hvor det kan være svært at skrive, men måske ikke er så svært at tryk på et lille billede eller to.

Tyler Schnoebelen , en lingvist og medstifter af Idibon , en startup, der behandler ustrukturerede sprogdata (herunder humørikoner og emojis), siger, at projektet kunne være nyttigt til at finde videoer lavet af dem, der ikke taler samme sprog som dig. Men for ham synes pointen med projektet at være, at det simpelthen er sjovt.

Han bemærker også, at betydningerne bag en emoji kan variere fra kultur til kultur, hvilket kan gøre det sværere at finde direkte oversættelser (aubergine-emojien er et iøjnefaldende eksempel, da det ofte anses for at repræsentere en fallus snarere end en alsidig frugt ).



Betydningen af ​​en emoji er mere end blot det navneord, som den visualiserer, siger han.

skjule