Baidu har et nyt trick til at lære AI betydningen af ​​sprog

Bogtryk tegn MS Tech / Kilde: Unsplash

Tidligere på måneden detroniserede en kinesisk teknologigigant stille og roligt Microsoft og Google i en igangværende konkurrence inden for kunstig intelligens. Virksomheden var Baidu, Kinas nærmeste ækvivalent til Google, og konkurrencen var General Language Understanding Evaluation, også kendt som GLUE.

GLUE er et bredt accepteret benchmark for, hvor godt et AI-system forstår menneskeligt sprog. Den består af ni forskellige tests for ting som at udvælge navnene på personer og organisationer i en sætning og finde ud af, hvad et pronomen som det refererer til, når der er flere potentielle forhistorier. En sprogmodel, der scorer højt på GLUE, kan derfor håndtere forskellige læseforståelsesopgaver. Ud af en fuld score på 100 scorer den gennemsnitlige person omkring 87 point . Baidu er nu det første hold til at overgå 90 med sin model, ERNIE.

Det offentlig rangliste for GLUE ændrer sig konstant, og et andet hold vil sandsynligvis snart toppe Baidu. Men det bemærkelsesværdige ved Baidus præstation er, at det illustrerer, hvordan AI-forskning drager fordel af en mangfoldighed af bidragydere. Baidus forskere måtte udvikle en teknik specifikt til det kinesiske sprog for at bygge ERNIE (som står for Enhanced Representation through Knowledge Integration). Det sker dog, at den samme teknik gør den bedre til også at forstå engelsk.

ERNIEs forgænger

For at værdsætte ERNIE, overvej modellen, den er inspireret af: Googles BERT . (Ja, de er begge opkaldt efter Sesamgade tegn .)

Før BERT (Bidirectional Encoder Representations from Transformers) blev oprettet i slutningen af ​​2018, var modeller med naturligt sprog ikke så gode. De var gode til at forudsige det næste ord i en sætning – og derfor velegnet til applikationer som Autofuldførelse – men de kunne ikke opretholde en eneste tankerække over selv en lille passage. Dette var fordi de ikke forstod betydningen, såsom hvad ordet det kunne referere til.

Men det ændrede BERT på. Tidligere modeller lærte at forudsige og fortolke betydningen af ​​et ord ved kun at overveje konteksten, der optrådte før eller efter det - aldrig begge dele på samme tid. De var med andre ord ensrettet .

BERT derimod overvejer konteksten før og efter et ord på én gang, gør det tovejs . Det gør det ved hjælp af en teknik kendt som maskering. I en given tekstafsnit skjuler BERT tilfældigt 15 % af ordene og forsøger derefter at forudsige dem ud fra de resterende. Dette giver den mulighed for at lave mere præcise forudsigelser, fordi den har dobbelt så mange signaler at arbejde ud fra. I sætningen Manden gik til ___ for at købe mælk, for eksempel giver både begyndelsen og slutningen af ​​sætningen hints om det manglende ord. ___ er et sted, du kan gå hen, og et sted, du kan købe mælk.

Brugen af ​​maskering er en af ​​kerneinnovationerne bag dramatiske forbedringer i naturligt sproglige opgaver og er en del af grunden til, at modeller som OpenAIs berygtede GPT-2 kan skrive ekstremt overbevisende prosa uden at afvige fra en central tese.

Fra engelsk til kinesisk og tilbage igen

Da Baidu-forskere begyndte at udvikle deres egen sprogmodel, ønskede de at bygge videre på maskeringsteknikken. Men de indså, at de var nødt til at tilpasse det for at imødekomme det kinesiske sprog.

På engelsk fungerer ordet som den semantiske enhed - hvilket betyder, at et ord, der er trukket helt ud af kontekst, stadig indeholder betydning. Det samme kan ikke siges om tegn på kinesisk. Mens visse karakterer har iboende betydning, som ild (火, huŏ ), vand (vand, shuĭ ), eller træ (木, blind ), de fleste gør det ikke, før de er spændt sammen med andre. Karakteren 灵 ( lyng ), for eksempel, kan enten betyde klog (机灵, jīlíng ) eller sjæl (sjæl, língún ), afhængigt af dens match. Og tegnene i et egennavn som Boston (波士顿, bōshìdùn ) eller USA (USA, mixer ) betyder ikke det samme, når en gang er splittet fra hinanden.

Så forskerne trænede ERNIE i en ny version af maskering, der skjuler strenge af tegn i stedet for enkelte. De trænede den også til at skelne mellem meningsfulde og tilfældige strenge, så den kunne maskere de rigtige tegnkombinationer i overensstemmelse hermed. Som et resultat har ERNIE et større greb om, hvordan ord koder information på kinesisk og er meget mere præcis til at forudsige de manglende brikker. Dette viser sig nyttigt til applikationer som oversættelse og informationssøgning fra et tekstdokument.

Forskerne opdagede meget hurtigt, at denne tilgang faktisk også fungerer bedre for engelsk. Selvom det ikke er så ofte som kinesisk, har engelsk på samme måde strenge af ord, der udtrykker en betydning, der er forskellig fra summen af ​​deres dele. Egennavne som Harry Potter og udtryk som chip off den gamle blok kan ikke forstås meningsfuldt ved at adskille dem i individuelle ord.

Så for sætningen:

Harry Potter er en serie af fantasy-romaner skrevet af J.K. Rowling.

BERT kan maskere det på følgende måde:

[mask] Potter er en serie [mask] fantasy romaner [mask] af J. [mask] Rowling.

Men ERNIE ville i stedet maskere det sådan:

Harry Potter er [maske] [maske] [maske] fantasy romaner af [maske] [maske] [maske].

ERNIE lærer således mere robuste forudsigelser baseret på betydning frem for statistiske ordbrugsmønstre.

En mangfoldighed af ideer

Den seneste version af ERNIE bruger også flere andre træningsteknikker. Den tager hensyn til rækkefølgen af ​​sætninger og afstandene mellem dem, for eksempel for at forstå den logiske udvikling af et afsnit. Vigtigst er det dog, at den bruger en metode kaldet kontinuerlig træning, der gør det muligt for den at træne på nye data og nye opgaver, uden at den glemmer dem, den har lært før. Dette gør det muligt for den at blive bedre og bedre til at udføre en bred vifte af opgaver over tid med minimal menneskelig indblanding.

Baidu bruger aktivt ERNIE til at give brugerne mere anvendelige søgeresultater, fjerne duplikerede historier i sit nyhedsfeed og forbedre sin AI-assistent Xiao Du's evne til at svare præcist på anmodninger. Den har også beskrevet ERNIEs seneste arkitektur i et papir som vil blive præsenteret på konferencen Association for the Advancement of Artificial Intelligence næste år. På samme måde som deres team byggede på Googles arbejde med BERT, håber forskerne, at andre også vil drage fordel af deres arbejde med ERNIE.

Da vi først startede dette arbejde, tænkte vi specifikt på visse karakteristika ved det kinesiske sprog, siger Hao Tian, ​​chefarkitekten for Baidu Research. Men vi opdagede hurtigt, at det var anvendeligt ud over det.

For at få flere historier som denne leveret direkte til din indbakke, tilmeld dig vores Webby-nominerede AI-nyhedsbrev The Algorithm. Det er gratis.

skjule