Området for naturlig sprogbehandling jagter det forkerte mål

Fru Tech | Unsplash

På et typisk årsmøde i Foreningen for Datalingvistik (ACL), programmet er en parade af titler som En struktureret variationsautokoder til kontekstuel morfologisk bøjning. Den samme tekniske smag gennemsyrer papirerne, forskningsforedragene og mange gangchat.

På dette års konference i juli føltes noget anderledes – og det var ikke kun det virtuelle format. Deltagernes samtaler var usædvanligt introspektive om kernemetoderne og -målene for naturlig sprogbehandling (NLP), grenen af ​​AI, der fokuserede på at skabe systemer, der analyserer eller genererer menneskeligt sprog. Papirer i årets nye Temaspor stillede spørgsmål som: Er aktuelle metoder virkelig nok at nå feltets ultimative mål? Hvad er det endda mål?

Mine kolleger og jeg kl Elementær erkendelse , et AI-forskningsfirma med base i Connecticut og New York, ser angsten som berettiget. Faktisk mener vi, at feltet har brug for en transformation, ikke kun i systemdesign, men på et mindre glamourøst område: evaluering.

Den nuværende NLP tidsånd opstod fra et halvt årti med konstante forbedringer under standardevalueringsparadigmet. Systemernes evne til at forstå er generelt blevet målt på benchmark datasæt bestående af tusindvis af spørgsmål, hver ledsaget af passager, der indeholder svaret. Da dybe neurale netværk fejede ind i feltet i midten af ​​2010'erne, bragte de et kvantespring i ydeevne. Efterfølgende arbejdsrunder holdt sig stadig tættere på 100 % (eller i det mindste til paritet med mennesker).

Så forskere ville offentliggøre nye datasæt af også selvom vanskeligere spørgsmål , kun for at se endnu større neurale netværk hurtigt poste imponerende resultater. Meget af nutidens læseforståelsesforskning indebærer omhyggelig tilpasning af modeller for at få et par procentpoint mere ud af de seneste datasæt. State of the art er praktisk talt blevet et egennavn: Vi slog SOTA videre SQUAD med 2,4 point!

Men mange mennesker i det Mark er ved at blive trætte af sådan leaderboard-jagt. Hvad har verden egentlig vundet, hvis et massivt neuralt netværk opnår SOTA på et eller andet benchmark med et point eller to? Det er ikke som om nogen bryder sig om at besvare disse spørgsmål for deres egen skyld; at vinde ranglisten er en akademisk øvelse, der måske ikke gør værktøjer i den virkelige verden bedre. Faktisk kommer mange tilsyneladende forbedringer ikke fra generelle forståelsesevner, men fra modellers ekstraordinære dygtighed mht. udnytter falsk mønstre i dataene. Giver de seneste fremskridt sig virkelig til udtryk i at hjælpe mennesker med at løse problemer?

Sådan tvivl er mere end abstrakt irritation; om systemer virkelig er dygtige til sprogforståelse, har reelle problemer for samfundet. Selvfølgelig indebærer forståelse en bred samling af færdigheder. Til enklere applikationer - såsom at hente Wikipedia factoids eller vurdering af stemningen i produktanmeldelser - moderne metoder klare sig ret godt . Men når folk forestiller sig computere, der forstår sprog, forestiller de sig langt mere sofistikeret adfærd: juridiske værktøjer, der hjælper folk med at analysere deres vanskeligheder; forskningsassistenter, der syntetiserer information fra hele nettet; robotter eller spilfigurer, der udfører detaljerede instruktioner.

Dagens modeller er ikke i nærheden af ​​at opnå det niveau af forståelse - og det er ikke klart, at endnu et SOTA-papir vil bringe feltet tættere på.

Hvordan endte NLP-samfundet med en sådan kløft mellem evalueringer på papir og evner i den virkelige verden? I en ACL positionspapir , mine kollegaer og jeg hævder, at i bestræbelserne på at nå vanskelige benchmarks, har evalueringer mistet de virkelige mål af syne: disse sofistikerede downstream-applikationer. For at låne en linje fra avisen, har NLP-forskerne trænet til at blive professionelle sprintere ved at kaste et blik rundt i gymnastiksalen og tage de øvelser, der ser hårde ud.

For at bringe evalueringerne mere i overensstemmelse med målene hjælper det at overveje, hvad der holder nutidens systemer tilbage.

Et menneske, der læser en passage, vil bygge en detaljeret repræsentation af entiteter, lokaliteter, begivenheder og deres forhold - en mental model af den verden, der er beskrevet i teksten. Læseren kan derefter udfylde manglende detaljer i modellen, ekstrapolere en scene frem eller tilbage eller endda opstille hypoteser om kontrafaktiske alternativer.

Denne form for modellering og ræsonnement er præcis, hvad automatiserede forskningsassistenter eller spilkarakterer skal gøre - og det mangler iøjnefaldende i nutidens systemer. En NLP-forsker kan normalt stoppe et avanceret læseforståelsessystem inden for få forsøg. En pålidelig teknik er at undersøge systemets model af verden, som kan forlade selv den meget balladede GPT-3 pludre om cykloptiske græsstrå.

At give automatiserede læsere verdensmodeller vil kræve store innovationer inden for systemdesign, som diskuteret i flere Tema-track indlæg . Men vores argument er mere grundlæggende: hvordan systemer dog implementeres, hvis de skal have trofaste verdensmodeller, så bør evalueringer systematisk teste, om de har trofaste verdensmodeller.

Sagt så skaldet, det lyder måske indlysende, men det bliver sjældent gjort. Forskningsgrupper som Allen Institute for AI har foreslog andre måder at hærde evalueringerne på, såsom at målrette forskellige sproglige strukturer, stille spørgsmål, der er afhængige af flere ræsonnementtrin, eller endda bare aggregering mange benchmarks . Andre forskere, som f.eks Yejin Choi 's gruppe ved University of Washington, har fokuseret på test almindelige følelse , som trækker aspekter af en verdensmodel ind. Sådanne bestræbelser er nyttige, men de fokuserer generelt stadig på at kompilere spørgsmål, som nutidens systemer har svært ved at besvare.

Vi foreslår et mere grundlæggende skift: For at konstruere mere meningsfulde evalueringer bør NLP-forskere starte med grundigt at specificere, hvad et systems verdensmodel skal indeholde for at være nyttig til downstream-applikationer. Vi kalder en sådan beretning en skabelon for forståelse.

Et særligt lovende teststed for denne tilgang er fiktive historier. Originale historier er informationsrige, ikke-Googlebare og centrale i mange applikationer, hvilket gør dem til en ideel test af læseforståelse. Træk på kognitiv videnskabelig litteratur om menneskelige læsere, vores administrerende direktør David Ferrucci har foreslået en firedelt skabelon til at teste et AI-systems evne til at forstå historier.

• Rumlig: Hvor er alt placeret, og hvordan er det placeret gennem historien?
• Midlertidig: Hvilke begivenheder sker og hvornår?
• Årsag: Hvordan fører begivenheder mekanistisk til andre begivenheder?
• Motiverende: Hvorfor beslutter karaktererne sig for at tage de handlinger, de foretager sig?

Ved systematisk at stille disse spørgsmål om alle entiteter og begivenheder i en historie, kan NLP-forskere score systemforståelse på en principiel måde og undersøge de verdensmodeller, som systemer rent faktisk har brug for.

Det er opmuntrende at se NLP-fællesskabet reflektere over, hvad der mangler fra nutidens teknologier. Vi håber, at denne tankegang vil føre til betydelige investeringer, ikke kun i nye algoritmer, men i nye og mere stringente måder at måle maskinernes forståelse på. Sådant arbejde skaber måske ikke så mange overskrifter, men vi formoder, at investeringer på dette område vil skubbe feltet mindst lige så meget frem som den næste gigantiske model.

Jesse Dunietz er forsker ved Elementær erkendelse , hvor han arbejder med at udvikle strenge evalueringer til læseforståelsessystemer. Han er også pædagogisk designer for MIT's Kommunikationslab og en videnskabsforfatter .

skjule