Sprogmodeller som GPT-3 kunne indvarsle en ny type søgemaskine

Pixabay

I 1998 udgav et par Stanford-kandidatstuderende et papir, der beskrev en ny slags søgemaskine : I denne artikel præsenterer vi Google, en prototype af en storstilet søgemaskine, som gør stor brug af strukturen i hypertekst. Google er designet til at crawle og indeksere internettet effektivt og producere meget mere tilfredsstillende søgeresultater end eksisterende systemer.

Relateret historie

Denne know-it-all AI lærer ved at læse hele nettet nonstop Diffbot bygger den største vidensgraf nogensinde ved at anvende billedgenkendelse og naturlig sprogbehandling på milliarder af websider.

Nøgleinnovationen var en algoritme kaldet PageRank, som rangerede søgeresultater ved at beregne, hvor relevante de var for en brugers forespørgsel på basis af deres links til andre sider på nettet. På bagsiden af ​​PageRank blev Google porten til internettet, og Sergey Brin og Larry Page byggede en af ​​de største virksomheder i verden.

Nu har et hold af Google-forskere offentliggjort et forslag til et radikalt redesign der smider rangeringstilgangen ud og erstatter den med en enkelt stor AI-sprogmodel - en fremtidig version af BERT eller GPT-3 . Ideen er, at i stedet for at søge efter information på en lang række af websider, vil brugerne stille spørgsmål og få en sprogmodel trænet på disse sider til at besvare dem direkte. Tilgangen kan ændre ikke kun, hvordan søgemaskiner fungerer, men hvordan vi interagerer med dem.

Mange problemer med eksisterende sprogmodeller skal løses først. Til at begynde med kan disse AI'er nogle gange generere partiske og giftige svar på forespørgsler - et problem, som forskere hos Google og andre steder har påpeget .

Nytænkning af PageRank

Søgemaskiner er blevet hurtigere og mere præcise, selvom nettet er eksploderet i størrelse. AI bruges nu til at rangere resultater, og Google bruger BERT til at forstå søgeforespørgsler bedre. Men under disse justeringer fungerer alle almindelige søgemaskiner stadig på samme måde, som de gjorde for 20 år siden: websider indekseres af crawlere (software, der læser nettet uafbrudt og vedligeholder en liste over alt, hvad det finder), resultater, der matcher en brugers forespørgsel, er indsamlet fra dette indeks, og resultaterne er rangeret.

Dette indeks-hent-og-ranger-plan har bestået tidens tand og er sjældent blevet udfordret eller seriøst gentænkt, skriver Donald Metzler og hans kolleger hos Google Research. (Metzler afviste en anmodning om at kommentere.)

Problemet er, at selv de bedste søgemaskiner i dag stadig reagerer med en liste over dokumenter, der indeholder de oplysninger, der bliver bedt om, ikke med selve informationen. Søgemaskiner er heller ikke gode til at svare på forespørgsler, der kræver svar hentet fra flere kilder. Det er, som om du spurgte din læge til råds og modtog en liste over artikler, du skulle læse i stedet for et direkte svar.

Metzler og hans kolleger er interesserede i en søgemaskine, der opfører sig som en menneskelig ekspert. Det bør producere svar i naturligt sprog, syntetiseret fra mere end ét dokument, og sikkerhedskopiere sine svar med referencer til støttende beviser, som Wikipedia-artikler sigter mod at gøre.

Relateret historie

Hvorfor GPT-3 er den bedste og værste AI lige nu

Open AI's sprog AI imponerede offentligheden med dets tilsyneladende beherskelse af engelsk – men er det hele en illusion?

Store sprogmodeller får os en del af vejen dertil. GPT-3, der er trænet på det meste af nettet og hundredvis af bøger, henter information fra flere kilder for at besvare spørgsmål i naturligt sprog. Problemet er, at det ikke holder styr på disse kilder og ikke kan give beviser for sine svar. Der er ingen måde at sige, om GPT-3 efterlader troværdig information eller desinformation – eller blot udsender nonsens af egen produktion.

Metzler og hans kolleger kalder sprogmodeller for dilettanter - De opfattes som værende ved meget, men deres viden er huddyb. Løsningen, hævder de, er at bygge og træne fremtidige BERT'er og GPT-3'ere til at bevare registreringer af, hvor deres ord kommer fra. Ingen sådanne modeller er endnu i stand til at gøre dette, men det er i princippet muligt, og der arbejdes tidligt i den retning.

Der har været årtiers fremskridt på forskellige områder af søgning, fra besvarelse af forespørgsler til opsummering af dokumenter til strukturering af information, siger Ziqi Zhang ved University of Sheffield, UK, som studerer informationssøgning på nettet. Men ingen af ​​disse teknologier reviderede søgning, fordi de hver især adresserer specifikke problemer og ikke kan generaliseres. Den spændende præmis for dette papir er, at store sprogmodeller er i stand til at gøre alle disse ting på samme tid, siger han.

Alligevel bemærker Zhang, at sprogmodeller ikke klarer sig godt med tekniske eller specialfag, fordi der er færre eksempler i teksten, de er trænet i. Der er formentlig hundredvis af gange mere data om e-handel på nettet end data om kvantemekanik, siger han. Sprogmodeller i dag er også skæve til engelsk, hvilket ville efterlade ikke-engelske dele af nettet underbetjent.

Hanna Hajishirzi, der studerer naturlig sprogbehandling ved University of Washington, hilser ideen velkommen, men advarer om, at der ville være problemer i praksis. 'Jeg tror, ​​at store sprogmodeller er meget vigtige og potentielt fremtiden for søgemaskiner, men de kræver stor hukommelse og beregningsressourcer,' siger hun. 'Jeg tror ikke, de ville erstatte indeksering.'

Alligevel er Zhang begejstret for mulighederne. Det har ikke været muligt tidligere, fordi store sprogmodeller først tog fart for nylig, siger han. Hvis det virker, vil det ændre vores søgeoplevelse.

Opdatering: vi har ændret teksten til mere tydeligt at repræsentere problemerne med eksisterende store sprogmodeller.

skjule