King – Man + Woman = Queen: The Marvelous Mathematics of Computational Linguistics

Beregningslingvistik har dramatisk ændret den måde, forskere studerer og forstår sprog på. Evnen til at tal-knase enorme mængder af ord for første gang har ført til helt nye måder at tænke ord og deres forhold til hinanden på.

Denne tal-knas viser præcis, hvor ofte et ord optræder tæt på andre ord, en vigtig faktor i, hvordan de bruges. Så ordet OL kan forekomme tæt på ord som at løbe, hoppe og kaste, men sjældnere ved siden af ​​ord som elektron eller stegosaurus. Dette sæt af relationer kan opfattes som en multidimensionel vektor, der beskriver, hvordan ordet OL bruges i et sprog, som i sig selv kan opfattes som et vektorrum.

Og deri ligger denne massive forandring. Denne nye tilgang tillader sprog at blive behandlet som vektorrum med præcise matematiske egenskaber. Nu er studiet af sprog ved at blive et problem med vektorrumsmatematik.

I dag udforsker Timothy Baldwin ved University of Melbourne i Australien og et par venner en af ​​de mærkværdige matematiske egenskaber ved dette vektorrum: at addering og subtraktion af vektorer producerer en anden vektor i det samme rum.

Spørgsmålet, de adresserer, er dette: hvad betyder disse sammensatte vektorer? Og ved at udforske dette spørgsmål finder de ud af, at forskellen mellem vektorer er et stærkt værktøj til at studere sprog og forholdet mellem ord.

Først lidt baggrund. Den nemmeste måde at tænke på ord, og hvordan de kan tilføjes og trækkes fra som vektorer, er med et eksempel. Den mest kendte er følgende: konge – mand + kvinde = dronning. Med andre ord, tilføjelse af vektorerne forbundet med ordene konge og kvinde mens der trækkes fra mand er lig med vektoren forbundet med dronning . Dette beskriver et kønsforhold.

Et andet eksempel er: Paris – Frankrig + Polen = Warszawa. I dette tilfælde er vektorforskellen mellem Paris og Frankrig fanger hovedstadsbegrebet.

Baldwin og co spørger, hvor pålidelig denne tilgang kan være, og hvor langt den kan tages. For at gøre dette sammenligner de, hvordan vektorforhold ændrer sig i henhold til korpus af ord, der er studeret. Fungerer de samme vektorrelationer i korpus af ord fra Wikipedia som i ordkorpus fra Google News eller Reuters engelske nyhedsledning?

For at finde ud af det, ser de på vektorerne forbundet med en række velkendte forhold mellem klasser af ord. Disse omfatter forholdet mellem en enhed og dens dele, for eksempel flyvemaskine og cockpit; en handling og den genstand, den involverer, såsom jagt og hjorte; et navneord og dets kollektive navneord sådan myre og hær. De omfatter også en række grammatiske links – et substantiv og dets flertal, såsom hund og hunde, et verbum og dets datid, såsom kender og vidste; og et verbum og dets tredje person flertal, såsom acceptere og accepterer.

Resultaterne giver interessant læsning. Baldwin og co siger, at vektorsummerne, der er fanget i disse relationer, generelt danner tætte klynger i de vektorrum, der er knyttet til hvert korpus.

Der er dog nogle interessante outliers, hvor ord har mere end én betydning og derfor har tvetydige repræsentationer i disse vektorrum. Eksempler i tredje person flertalsklynge omfatter undersøgelse og studier, løb og løb, stigning og stigning, alle ord, der kan være navneord og verber, hvilket forvrænger deres vektorer i disse rum.

Det er interessant arbejde, der går ad denne nye vej i studiet af ord og deres forhold til hinanden. Dette papir er det første til at teste generaliserbarheden af ​​vektorforskeltilgangen på tværs af en bred vifte af leksikalske relationer, siger de.

Et vigtigt spørgsmål, som Baldwin og co forsømmer, er, hvordan denne bedre forståelse kan bruges i den virkelige verden. Et oplagt svar er at hjælpe maskiner med at forstå menneskeligt sprog. En anden er at hjælpe med sprogoversættelse.

Det er værd at bemærke, at en af ​​pionererne og drivkræfterne på dette område er Google og dets maskinoversættelsesteam. Disse fyre har fundet ud af, at et vektorforhold, der vises på engelsk, generelt også fungerer på spansk, tysk, vietnamesisk og faktisk alle sprog.

Det er sådan, Google laver sin maskinoversættelse. I det væsentlige betragter den en sætning som ækvivalent på to sprog, hvis dens position i vektorrummene for hvert sprog er den samme. Ved denne tilgang er dens traditionelle betydning næsten irrelevant.

Men på grund af sprogets idiosynkratiske karakter er der talrige undtagelser. Det er disse, der forårsager problemerne for maskinoversættelsesalgoritmer.

Så at finde måder at opdage uklarhederne på kan være en nyttig måde at rette op på disse problemer.

Ref: arxiv.org/abs/1509.01692 : Tag og tog, Gaggle og Gås, Book og Læs: Evaluering af nytten af ​​vektorforskelle til leksikalsk relationslæring

skjule