211service.com
Hvad er det næste for Netflix-algoritmerne?
Når Netflix-prisen blev tildelt i sidste måned, afsluttede den tre års intens konkurrence med det formål at finde en bedre algoritme til at forudsige brugernes filmpræferencer.
Det vindende hold, BellKors pragmatiske kaos , var den første til at forudsige Netflix-kunders filmvurderinger med 10 procent bedre nøjagtighed end virksomhedens interne system – en bedrift, som mange eksperter troede ville være umulig, da millionprisen blev annonceret. Netflix planlægger at tilbyde en anden præmie , denne gang til algoritmer, der forudsiger filmpræferencer ved hjælp af flere brugeroplysninger, såsom køn, alder og postnummer. Men eksperter siger, at den virkelige udfordring er at finde måder at anvende erfaringerne fra den originale Netflix-udfordring på andre anbefalingssystemer.
I slutningen af oktober mødes eksperter på området kl ACM-konference om anbefalingssystemer i New York City for blandt andet at spørge, hvad man har lært af Netflix-prisen.
Deltagerne i den originale Netflix-konkurrence trænede deres algoritmer ved hjælp af en enorm samling af data: mere end 100 millioner vurderinger, der dækker næsten 18.000 titler fra næsten en halv million abonnenter. For at teste deres resultater blev deres algoritmer testet på et sæt data vedligeholdt af Netflix og holdt hemmeligt for konkurrencerne for at forhindre snyd.
Netflix’ data præsenterede flere formidable forhindringer, forklarer Nicholas Ampazis , en assisterende professor i afdelingen for finans- og ledelsesteknik ved University of the Aegean i Grækenland, hvis team, Ensemblet , endte konkurrencen på andenpladsen. Datasættet var enormt, men det var også sparsomt, hvilket betyder, at kunderne typisk bedømte omkring 1 procent af de film, de så. At knække 10 procent barrieren betød således at skubbe grænserne for eksisterende modelleringsteknikker i betydelig grad, siger Ampazis.
Men udfordringerne fra Netflix-dataene gjorde også konkurrencen meget værdifuld, ifølge Disse Bertino , et andet medlem af Ensemblet. Forskere har normalt den luksus at vælge datasæt og at have mere information om disse data. I Netflix-konkurrencen blev deltagerne tvunget til at anvende alle algoritmer på det samme sæt frustrerende ujævne data fra den virkelige verden. Fordi folk skulle bruge et fast datasæt, var de nødt til ikke kun at forholde sig til fordelene ved en bestemt metode, men også svaghederne ved den, siger Bertino. Du kunne ikke undslippe det.
Gavin Potter , der opnåede anerkendelse for at have sprængt top 10 af Netflix-prisen i 2008 under navnet Just a guy in a garage, siger, at et par vigtige erkendelser gjorde det muligt for de vindende algoritmer at nå målet. Først blev en kraftfuld algoritme til at søge efter mønstre i datasæt, en teknik kendt som kollaborativ filtrering, strømlinet, så den kunne bruges på det store Netflix-datasæt. For det andet lærte deltagerne at være opmærksomme på visse nye typer detaljer, for eksempel det faktum, at bestilling af en film overhovedet indikerer en præference for den, selvom kunden ikke har vurderet den. Dato- og tidsoplysninger viste sig også at være væsentlige. Men den største erkendelse, bemærker Potter, var, at blanding af en række forskellige tilgange gav de bedste resultater.
Blandingen af forskellige tilgange har fået meget opmærksomhed i post-mortems af konkurrencen, men John Riedl , professor i datalogi ved University of Minnesota, siger, at han har blandede følelser omkring det. Folk som mig har ledt efter ideer, der kunne give os indsigt i løsningens struktur, siger han, hvor vi virkelig forstår noget nyt om ikke kun, hvilken løsning der gør godt, men hvorfor den gør det godt.
De vindende modeller har dog ikke givet en sådan indsigt. Hvad de foreslår, ifølge Riedl, er, at en kombination af masser af algoritmer med maskinlæringsteknikker kan være en god tilgang til at håndtere store datasæt generelt. Men selv det mangler at blive bevist. Mange af os er bekymrede for, at denne tilgang måske ikke er så frugtbar andre steder, tilføjer han.
Det, der er klart, er, at mange industrier kunne drage fordel af de typer modeller, der er bygget til konkurrenterne. Udover andre onlineanbefalingssystemer foreslår Ampazis, at sådanne algoritmer kan anvendes i markedshandel, afsløring af svindel, spam-bekæmpelse og computersikkerhed. Bertino fortæller, at medlemmer af The Ensemble i øjeblikket overvejer, hvordan de bedst kan bruge den teknologi, de har genereret i løbet af konkurrencen.
Potter arbejder på at anvende sin egen forskning til prisen på online datingsiden JaNejMayB , som anvender to-vejs anbefalingsalgoritmer til at finde brugere, der måske vil møde hinanden. Især håber han at bruge indsigt fra Netflix-prisen til at lave forudsigelser baseret på brugernes implicitte præferencer, såsom hvilke sider de indlæser.
Netflix-prisen fokuserede meget på anbefalingssystemer og skabte store fremskridt på området. Den anden konkurrence ser ud til at gøre det samme. Men Riedl mener, at andre komponenter i anbefalingssystemer kan blive efterladt i processen. Nu er det tid til, at vi som felt tænker over, hvilke andre aspekter der kan være blevet forsømt, siger han, og hvordan forskere kan gøre fremskridt på disse aspekter på en måde, der har betydning for industrien.
For eksempel ser Riedl et behov for algoritmer, der gør det muligt for anbefalingssystemer at bruge stadigt større datasæt, systemer, der forklarer en bruger, hvorfor en bestemt anbefaling blev lavet, og bedre brugergrænseflader. Han bemærker også, at selvom Netflix-konkurrencen gjorde imponerende fremskridt med at fortolke sparsomme data, kan det i nogle tilfælde give mening at lære, hvordan man designer websteder for at tilskynde brugerne til at give mere data. Han håber, at det kommende møde i New York vil hjælpe med at definere et bredere sæt spørgsmål, som forskere skal tage stilling til.