Data mining afslører grundlæggende mønster af menneskelig tænkning

Tilbage i 1935 gjorde den amerikanske sprogforsker George Zipf en bemærkelsesværdig opdagelse. Zipf var nysgerrig efter forholdet mellem almindelige ord og mindre almindelige. Så han talte, hvor ofte ord forekommer i almindeligt sprog, og ordnede dem derefter efter deres hyppighed.

Dette afslørede en bemærkelsesværdig regelmæssighed. Zipf fandt ud af, at frekvensen af ​​et ord er omvendt proportional med dets plads i ranglisten. Så et ord, der er nummer to i ranglisten, optræder halvt så ofte som det mest almindelige ord. Det tredjerangerede ord optræder en tredjedel så ofte og så videre.

På engelsk er det mest populære ord det, som udgør omkring 7 procent af alle ord, efterfulgt af og , hvilket forekommer 3,5 procent af tiden, og så videre. Faktisk tegner omkring 135 ord sig for halvdelen af ​​alle ordforekomster. Så nogle få ord optræder ofte, mens de fleste sjældent forekommer.

Men hvorfor? En spændende mulighed er, at hjernen behandler almindelige ord forskelligt, og at undersøgelse af Zipfs distribution bør afsløre vigtig indsigt i denne hjerneproces.

Der er dog et problem. Sprogforskere er ikke alle enige om, at den statistiske fordeling af ordfrekvens er resultatet af kognitive processer. I stedet siger nogle, at fordelingen er resultatet af statistiske fejl forbundet med lavfrekvente ord, som kan producere lignende fordelinger.

Det, der er nødvendigt, er selvfølgelig en større undersøgelse på tværs af en lang række sprog. En sådan storstilet undersøgelse ville være mere statistisk kraftfuld og så i stand til at pirre disse muligheder fra hinanden.

I dag får vi netop sådan en undersøgelse takket være arbejdet udført af Shuiyuan Yu og kolleger ved Communication University of China i Beijing. Disse fyre har fundet Zipfs lov på 50 sprog taget fra en bred vifte af sproglige klasser, herunder indoeuropæisk, uralisk, altaisk, kaukasisk, kinesisk-tibetansk, dravidisk, afro-asiatisk, og så videre.

Yu og co siger, at ordfrekvenserne på disse sprog deler en fælles struktur, der adskiller sig fra den, statistiske fejl ville frembringe. Hvad mere er, siger de, at denne struktur antyder, at hjernen behandler almindelige ord anderledes end ualmindelige, en idé, der har vigtige konsekvenser for naturlig sprogbehandling og automatisk generering af tekst.

Yu og cos metode er ligetil. De begynder med to store tekstsamlinger kaldet British National Corpus og Leipzig Corpus. Disse omfatter prøver fra 50 forskellige sprog, hver prøve indeholder mindst 30.000 sætninger og op til 43 millioner ord.

Forskerne fandt ud af, at ordfrekvenserne på alle sprogene følger en modificeret Zipfs lov, hvor fordelingen kan opdeles i tre segmenter. De statistiske resultater viser, at Zipfs love på 50 sprog alle deler et strukturelt mønster med tre segmenter, hvor hvert segment viser særprægede sproglige egenskaber, siger de Yu.

Denne struktur er interessant. Yu og co har forsøgt at simulere det ved hjælp af en række modeller til at skabe ord. Den ene model er abe-ved-en-skrivemaskine-modellen, som genererer tilfældige bogstaver, der danner ord, når der opstår et mellemrum.

Denne proces genererer en magtlovfordeling som Zipfs lov. Det kan dog ikke generere den tre-segment struktur, som Yu og co har fundet. Denne struktur kan heller ikke genereres af fejl forbundet med lavfrekvente ord.

Yu og co er dog i stand til at reproducere denne struktur ved hjælp af en model af den måde, hjernen fungerer på, kaldet dual-proces teorien. Dette er ideen om, at hjernen fungerer på to forskellige måder.

Den første er hurtig intuitiv tænkning, der kræver lidt eller ingen begrundelse. Denne type tænkning menes at have udviklet sig til at give mennesker mulighed for at reagere hurtigt i truende situationer. Det giver generelt gode løsninger på svære problemer, såsom mønstergenkendelse, men kan nemt narre af ikke-intuitive situationer.

Men mennesker er i stand til meget mere rationel tænkning. Denne anden type tænkning er langsommere, mere beregnende og bevidst. Det er denne form for tænkning, der giver os mulighed for at løse komplekse problemer som matematiske gåder og så videre.

Dual-proces teorien foreslår, at almindelige ord som den, og, hvis og så videre behandles af hurtig, intuitiv tænkning og bruges derfor oftere. Disse ord danner en slags rygrad for sætninger.

Men mindre almindelige ord og sætninger som hypotese og Zipfs lov kræver meget mere omhyggelig eftertanke. Og på grund af dette forekommer de sjældnere.

Faktisk, når Yu og co simulerer denne dobbelte proces, fører det til den samme tre-segment struktur i ordfrekvensfordelingen, som de målte på 50 forskellige sprog.

Det første segment afspejler fordelingen af ​​almindelige ord, det sidste segment afspejler fordelingen af ​​ualmindelige ord, og det midterste segment er resultatet af krydsningen af ​​disse to regimer. Disse resultater viser, at Zipfs lov i sprog er motiveret af kognitive mekanismer som dual-processing, der styrer menneskelig verbal adfærd, siger Yu og co.

Det er interessant arbejde. Ideen om, at den menneskelige hjerne behandler information på to forskellige måder, har taget betydeligt fart i de senere år, ikke mindst på grund af bogen Tænkende, hurtigt og langsomt af den nobelprisvindende psykolog Daniel Kahneman, som har studeret denne idé i detaljer.

Et velkendt problem, der bruges til at udløse hurtig og langsom tænkning, er dette:

Et bat og en bold koster $1,10 i alt. Battet koster $1,00 mere end bolden. Hvor meget koster bolden?

Svaret er selvfølgelig 5 øre. Men næsten alle har den oprindelige tilbøjelighed til at tænke 10 cents. Det er fordi 10 cents føles omtrent rigtigt. Det er i den rigtige størrelsesorden og antydes af problemets ramme. Det svar kommer fra den hurtige, intuitive side af din hjerne.

Men det er forkert. Det rigtige svar kræver den langsommere, mere beregnende del af din hjerne.

Yu og co siger, at de samme to processer er involveret i at generere sætninger. Det hurtigtænkende del af dine hjernen skaber det grundlæggende struktur af dømme ( det ord her markeret i fremhævet). Det andre ord kræver det langsommere, mere beregnende del af din hjerne.

Det er denne dobbelte proces, der fører til den tre-segmenterede Zipfs lov.

Det burde have interessante konsekvenser for dataloger, der arbejder med naturlig sprogbehandling. Dette område har nydt godt af store fremskridt i de senere år. Disse er kommet fra maskinlæringsalgoritmer, men også fra store databaser med tekst indsamlet af virksomheder som Google.

Men det er stadig svært at skabe naturligt sprog. Du behøver ikke at chatte med Siri, Cortana eller Google Assistant i lang tid for at komme ud for deres samtalegrænser.

Så en bedre forståelse af, hvordan mennesker genererer sætninger, kunne hjælpe betydeligt. Zipf ville helt sikkert have været fascineret.

Ref: arxiv.org/abs/1807.01855 : Zipfs lov på 50 sprog: dens strukturelle mønster, sproglige fortolkning og kognitive motivation

skjule