Dette kan føre til det næste store gennembrud inden for sund fornuft AI

Fru Tech | Pexels

Du har sikkert hørt os sige dette utallige gange: GPT-3, den gigantiske AI, der udsender et uhyggeligt menneskelignende sprog, er et vidunder. Det er i høj grad også at se . Du kan fortælle med et simpelt trick: Spørg det farven på får , og det vil det antyder sort lige så ofte som hvidt - hvilket afspejler udtrykket sorte får i vores sprogbrug.

Det er problemet med sprogmodeller: Fordi de kun er trænet på tekst, mangler de sund fornuft. Nu har forskere fra University of North Carolina, Chapel Hill, designet en ny teknik til at ændre det. De kalder det vokenization, og det giver sprogmodeller som GPT-3 muligheden for at se.

Det er ikke første gang, folk har forsøgt at kombinere sprogmodeller med computersyn. Dette er faktisk et hastigt voksende område af AI-forskning. Tanken er, at begge typer AI har forskellige styrker. Sprogmodeller som GPT-3 trænes gennem uovervåget læring, som ikke kræver manuel datamærkning, hvilket gør dem nemme at skalere. Billedmodeller som objektgenkendelsessystemer lærer derimod mere direkte fra virkeligheden. Med andre ord er deres forståelse ikke afhængig af den form for abstraktion af verden, som teksten giver. De kan se på billeder af får, at de faktisk er hvide.

Relateret historie

Disse mærkelige, foruroligende billeder viser, at AI bliver smartere Modeller lærer, hvordan man genererer billeder ud fra billedtekster, et tegn på, at de bliver bedre til at forstå vores verden.

AI-modeller, der kan parse både sprog og visuelt input, har også meget praktiske anvendelser. Hvis vi for eksempel vil bygge robotassistenter, har de brug for computersyn til at navigere i verden og sprog for at kommunikere om det til mennesker.

Men at kombinere begge typer AI er lettere sagt end gjort. Det er ikke så enkelt som at hæfte en eksisterende sprogmodel sammen med et eksisterende objektgenkendelsessystem. Det kræver træning af en ny model fra bunden med et datasæt, der indeholder tekst og billeder, også kendt som et visuelt sprogdatasæt.

Den mest almindelige tilgang til at kurere et sådant datasæt er at kompilere en samling billeder med beskrivende billedtekster. Et billede som det nedenfor, for eksempel, ville være underteksten En orange kat sidder i kufferten klar til at blive pakket. Dette adskiller sig fra typiske billeddatasæt, som ville mærke det samme billede med kun ét substantiv, som kat. Et datasæt på visuelt sprog kan derfor lære en AI-model, ikke bare hvordan man genkender objekter, men hvordan de relaterer til og virker på hinanden ved hjælp af verber og præpositioner.

Men du kan se, hvorfor denne datakurationsproces ville tage evigheder. Det er grunden til, at de eksisterende datasæt på visuelt sprog er så ringe. Et populært tekstdatasæt som engelsk Wikipedia (som faktisk omfatter næsten alle engelsksprogede Wikipedia-indgange) kan indeholde næsten 3 milliarder ord. Et datasæt på visuelt sprog som Microsoft Common Objects in Context eller MS COCO indeholder kun 7 mio. Det er simpelthen ikke nok data til at træne en AI-model til noget nyttigt.

Vokenization kommer uden om dette problem ved at bruge uovervågede læringsmetoder til at skalere den lille mængde data i MS COCO til størrelsen på engelsk Wikipedia. Den resulterende visuelle sprogmodel udkonkurrerer state-of-the-art modeller i nogle af de sværeste test, der bruges til at evaluere AI-sprogforståelse i dag.

Man slår ikke topmoderne på disse tests ved bare at prøve lidt, siger Thomas Wolf, medstifter og chief science officer af startup'et Hugging Face, der behandler naturlige sprog, som ikke var en del af forskningen. Dette er ikke en legetøjstest. Derfor er det super spændende.

Fra tokens til vokens

Lad os først finde ud af noget terminologi. Hvad i alverden er en voken?

I AI-tale er de ord, der bruges til at træne sprogmodeller, kendt som tokens. Så UNC-forskerne besluttede at kalde billedet forbundet med hver token i deres visuelle sprogmodel for en voken. Vokenizer er, hvad de kalder algoritmen, der finder vokens for hver token, og vokenisering er, hvad de kalder hele processen.

Pointen med dette er ikke kun at vise, hvor meget AI-forskere elsker at finde på ord. (Det gør de virkelig.) Det hjælper også med at nedbryde den grundlæggende idé bag vokenization. I stedet for at starte med et billeddatasæt og manuelt skrive sætninger til at tjene som billedtekster – en meget langsom proces – startede UNC-forskerne med et sprogdatasæt og brugte uovervåget læring til at matche hvert ord med et relevant billede (mere om dette senere). Dette er en meget skalerbar proces.

Den uovervågede læringsteknik er her i sidste ende bidraget fra papiret. Hvordan finder man egentlig et relevant billede for hvert ord?

Vokenisering

Lad os et øjeblik gå tilbage til GPT-3. GPT-3 er en del af en familie af sprogmodeller kendt som transformatorer, som repræsenterede et stort gennembrud i anvendelsen af ​​uovervåget læring til behandling af naturligt sprog, da den første blev introduceret i 2017. Transformere lærer mønstrene i det menneskelige sprog ved at observere, hvordan ord er bruges i kontekst og derefter skabe en matematisk repræsentation af hvert ord, kendt som en ordindlejring, baseret på den kontekst. Indlejringen af ​​ordet kat kan for eksempel vise, at det ofte bruges omkring ordene mjau og orange, men sjældnere omkring ordene bark eller blå.

Det er sådan transformatorer tilnærmer sig betydningen af ​​ord, og hvordan GPT-3 kan skrive sådanne menneskelignende sætninger. Den er delvist afhængig af disse indlejringer for at fortælle den, hvordan man samler ord til sætninger og sætninger til afsnit.

Der er en parallel teknik, der også kan bruges til billeder. I stedet for at scanne tekst for ordbrugsmønstre, scanner den billeder for visuelle mønstre. Den tabulerer, hvor ofte en kat f.eks. dukker op på en seng versus på et træ, og skaber en kat, der indlejrer sig med denne kontekstuelle information.

UNC-forskernes indsigt var, at de skulle bruge begge indlejringsteknikker på MS COCO. De konverterede billederne til visuelle indlejringer og billedteksterne til ordindlejringer. Hvad der er virkelig pænt ved disse indlejringer er, at de derefter kan tegnes i et tredimensionelt rum, og du kan bogstaveligt talt se, hvordan de er relateret til hinanden. Visuelle indlejringer, der er tæt beslægtet med ordindlejringer, vises tættere på grafen. Med andre ord skal den visuelle katteindlejring (i teorien) overlappe med den tekstbaserede katteindlejring. Ret sejt.

Du kan se, hvor det går hen. Når alle indlejringer er tegnet og sammenlignet og relateret til hinanden, er det nemt at begynde at matche billeder (vokens) med ord (tokens). Og husk, fordi billederne og ordene matches baseret på deres indlejringer, matches de også baseret på kontekst. Dette er nyttigt, når et ord kan have helt forskellige betydninger. Teknikken klarer det med succes ved at finde forskellige vokens for hver forekomst af ordet.

For eksempel:

Her er hende kontakt.

Nogle katte elsker mennesker kontakt .

Tokenet er ordet kontakt i begge eksempler. Men i den første sætning tyder konteksten på, at ordet refererer til kontaktoplysninger, så voken er kontaktikonet. I den anden sætning antyder konteksten, at ordet refererer til berøring, så voken viser en kat, der bliver strøget.

Forskerne brugte de visuelle og ordindlejringer, de lavede med MS COCO til at træne deres vokenizer-algoritme. Efter at være blevet trænet, var vokenizeren derefter i stand til at finde vokens til tokens på engelsk Wikipedia. Det er ikke perfekt. Algoritmen fandt kun vokens for omkring 40 % af tokens. Men det er stadig 40 % af et datasæt med næsten 3 milliarder ord.

Med dette nye datasæt genoplærte forskerne en sprogmodel kendt som BERT, en open source-transformer udviklet af Google, der går forud for GPT-3. Derefter testede de den nye og forbedrede BERT på seks forskellige sprogforståelsestest, inklusive SQuAD, Stanford Question Answering Dataset, som beder modeller om at besvare læseforståelsesspørgsmål om en række artikler, og SWAG, som forsøger at trippe modeller med finesser af det engelske sprog for at undersøge, om det blot er at efterligne og huske. Den forbedrede BERT klarede sig bedre på dem alle, hvilket Wolf siger ikke er noget at nyse ad.

Forskerne, Hao Tan, en ph.d.-studerende, og Mohit Bansal, hans rådgiver, vil præsentere deres nye vokeniseringsteknik om to uger på konferencen om empiriske metoder i naturlig sprogbehandling. Selvom arbejdet stadig er tidligt, ser Wolf deres arbejde som et vigtigt konceptuelt gennembrud i at få uovervåget læring til at fungere for visuelle sprogmodeller. Det var en lignende gnist, der hjalp dramatisk med at fremme behandling af naturlige sprog tilbage i dag.

I NLP havde vi det her store gennembrud for over to år siden, og så var NLP pludselig et felt, hvor der skete en masse ting, og det kom på en måde foran alle de andre AI-felter, siger han. Men vi har det her problem med at forbinde tekst med andre ting. Så det er ligesom denne robot, der kun er i stand til at tale, men ikke kan se, ikke kan høre.

Dette papir er et eksempel, hvor de formåede at forbinde det med en anden modalitet, og det virker bedre , han siger. Du kunne forestille dig, at nogle af disse teknikker måske kunne genbruges, når du vil udnytte denne virkelig kraftfulde sprogmodel i en robot. Måske bruger du det samme til at forbinde robottens sanser til tekst.

skjule