Lingvistiks gennembrud varsler maskinoversættelse til tusindvis af sjældne sprog

Det bedste gæt er, at mennesker i øjeblikket taler omkring 6.900 forskellige sprog. Mere end halvdelen af ​​verdens befolkning kommunikerer ved hjælp af kun en håndfuld af dem - kinesisk, engelsk, hindi, spansk og russisk. Faktisk kommunikerer 95 procent af mennesker på kun 100 sprog.

De andre argots er meget mindre almindelige. Sprogforskere vurderer faktisk, at omkring en tredjedel af verdens sprog tales af færre end 1.000 mennesker og er i fare for at dø ud i løbet af de næste 100 år eller deromkring. Med dem følger den unikke kulturarv, som de legemliggør – historier, sætninger, vittigheder, naturlægemidler og endda unikke følelser.

Det er let at tro, at maskinlæring kan hjælpe. Problemet er, at maskinoversættelse er afhængig af enorme annoterede datasæt til at udføre sin handel. Disse datasæt består af store korpus af bøger, artikler og websteder, der er blevet manuelt oversat til andre sprog. Dette fungerer som en Rosetta-sten til maskinlæringsalgoritmer, og jo større datasættet er, jo bedre lærer de.

Et kort, der viser, hvordan datidens indikatorer samler sig for 100 af de undersøgte sprog.

Men disse enorme datasæt eksisterer simpelthen ikke for de fleste sprog. Derfor virker maskinoversættelse kun for en lille brøkdel af de mest almindelige sprog. Google Translate taler for eksempel kun omkring 90 sprog.

Så en vigtig udfordring for lingvister er at finde en måde at automatisk analysere mindre almindelige sprog for bedre at forstå dem.

I dag siger Ehsaneddin Asgari og Hinrich Schutze ved Ludwig-Maximilian Universitetet i München i Tyskland, at de har gjort netop det. Deres nye tilgang afslører vigtige elementer i næsten ethvert sprog, der derefter kan bruges som et springbræt til maskinoversættelse.

Den nye teknik er baseret på en enkelt tekst, der er blevet oversat til mindst 2.000 forskellige sprog. Dette er Bibelen, og sprogforskere har længe erkendt dens betydning i deres disciplin.

Derfor har de lavet en database kaldet Parallel Bible Corpus, som består af oversættelser af Det Nye Testamente på 1.169 sprog. Dette datasæt er ikke stort nok til den slags industriel maskinlæring, som Google og andre udfører. Så Asgari og Schutze har fundet på en anden tilgang baseret på den måde, tider optræder på forskellige sprog.

De fleste sprog bruger specifikke ord eller bogstavkombinationer til at betegne tider. Så det nye trick er manuelt at identificere disse signaler på flere sprog og derefter bruge data-mining-teknikker til at jage gennem andre oversættelser på udkig efter ord eller strenge af bogstaver, der spiller den samme rolle.

For eksempel på engelsk er nutid betegnet med ordet er, fremtidig tid med ordet vil, og datid med ordet var. Selvfølgelig er der også andre betegnelser.

Asgari og Schutzes idé er at finde alle disse ord i den engelske oversættelse af Bibelen sammen med andre eksempler fra en håndfuld andre sprogoversættelser. Se derefter efter ord eller bogstavstrenge, der spiller den samme rolle på andre sprog. For eksempel betyder bogstavstrengen -ed også datid på engelsk.

Men der er et twist. Asgari og Schutze starter ikke med engelsk, fordi det er et relativt gammelt sprog med mange undtagelser fra reglen, hvilket gør det svært at lære.

I stedet starter de med et sæt kreolske sprog, der har udviklet sig fra en blanding af andre sprog. Fordi de er yngre, har kreolske sprog haft mindre tid til at udvikle disse sproglige idiosynkrasier. Og det betyder, at de generelt indeholder bedre markører for sproglige træk som f.eks. Vores begrundelse er, at kreolsprog er mere regulære end andre sprog, fordi de er unge og ikke har akkumuleret 'historisk bagage', som kan gøre beregningsmæssig analyse sværere, siger de.

Et af disse sprog er Seychellernes kreolsk, som bruger ordet ti til at betegne datid. For eksempel betyder mon travay, at jeg arbejder på dette sprog, mens mon ti travay betyder, at jeg arbejdede, og mon ti pe travay betyder, at jeg arbejdede. Så ti er en god betegnelse for datid.

Asgari og Schutze kompilerer en liste over datidsbetegnende på 10 andre sprog og miner derefter Parallel Bible Corpus for andre ord og bogstavstrenge, der udfører den samme funktion. De gentager dette for nutid og fremtidig tid.

Resultaterne giver interessant læsning. Teknikken afslører sproglige konstruktioner relateret til tid i almindelige sprog såsom -ed på engelsk og -te på tysk, såvel som de ord og vendinger, der udfører de samme funktioner på meget mindre almindelige sprog, såsom datidens betegnelse den i Gourmanchema sprog fra Burkino Faso og yi i Yalunka, talt i Mali og så videre.

Dette arbejde gør det muligt for forskerne at lave kort, der viser, hvordan sprog, der bruger lignende spændte konstruktioner, hænger sammen (se diagram).

Det er interessant arbejde. Asgari og Schutze har udviklet en beregningsmetode til at analysere, hvordan folk bruger fortid, nutid og fremtidig tid på over 1.000 sprog. Dette er den største beregningsundersøgelse på tværs af sprog, der nogensinde er gennemført. Faktisk er antallet af involverede sprog en størrelsesorden større end i andre undersøgelser.

Værket har betydelig anvendelse. Sprogspændingskortene giver forskerne mulighed for hurtigt at finde ud af relationerne mellem sprog, og hvordan de hænger sammen. Det kunne bruges til bedre at forstå sprogets udvikling.

Og samme tilgang kunne også bruges til andre sproglige træk. Vi kræver kun, at et sprogligt træk er åbenlyst markeret på nogle få tusinde sprog i modsætning til at kræve, at det markeres på alle sprog, der undersøges, siger Asgari og Schutze.

Konsekvenserne rækker videre. Beregningslingvistik har haft en dybtgående indflydelse på vores forståelse af sprog, den måde, det varierer rundt om i verden, og hvordan maskiner kan forstå det. Denne nye disciplin har gjort det muligt automatisk at oversætte mange sprog direkte til andre i skriftlig og mundtlig form. Faktisk er løftet, at øjeblikkelig maskinoversættelse snart vil matche og derefter overgå menneskelige tolkes evner.

Men brugen af ​​maskinoversættelse for visse sprog gør dem mere populære på bekostning af sprog, der ikke er tilgodeset. Derfor kunne maskinoversættelse fremskynde udryddelse af truede sprog.

Sprogforskere har faktisk set et lignende fænomen med andre former for massekommunikation, såsom satellit-tv-tjenester. Disse udsendes generelt på et enkelt sprog, som så bliver mere ønskværdigt og populært end sprog, der ikke udsendes.

Asgari og Schutzes arbejde kunne hjælpe med at vende dette tilbagegangsmønster. Selvfølgelig er det et stort skridt fra dette arbejde til præcis maskinoversættelse, men det er et skridt i den rigtige retning.

Ref: arxiv.org/abs/1704.08914 : Fortid, nutid, fremtid: en beregningsmæssig undersøgelse af spændingstypologien på 1.000 sprog

skjule