Et nyt fordybende klasseværelse bruger AI og VR til at undervise i mandarin-kinesisk

Et billede af elever, der står i det fordybende virtuelle miljø Rensselaer Polytekniske Institut

Ofte er den bedste måde at lære et sprog på at fordybe dig i et miljø, hvor folk taler det. Den konstante eksponering, sammen med presset for at kommunikere, hjælper dig med hurtigt at opfange og øve nyt ordforråd. Men ikke alle får mulighed for at bo eller studere i udlandet.

I et nyt samarbejde med IBM Research tilbyder Rensselaer Polytechnic Institute (RPI), et universitet med base i Troy, New York, nu sine studerende, der studerer kinesisk, en anden mulighed: et 360-graders virtuelt miljø, der teleporterer dem til Beijings travle gader eller en overfyldt kinesisk restaurant. Studerende kan prutte med gadesælgere eller bestille mad, og miljøet er udstyret med forskellige AI-funktioner til at reagere på dem i realtid. Mens klasseværelset stort set er eksperimentelt, bliver det brugt for første gang i et seks ugers, for-merit kursus på universitetet denne sommer.

Projektet var inspireret af to RPI-fakultetsmedlemmer, som ofte brugte rollespil til at hjælpe deres elever med at lære kinesisk. Sideløbende hermed i de sidste par år, flere undersøgelser har fundet ud af, at interaktive læringsmiljøer kan øge sprogforståelsen og fastholdelsen. En undersøgelse offentliggjort i 2018 også fundet at det at lære japansk i et virtuelt 3D-miljø gjorde eleverne mere tilbøjelige til at opfange ordforråd, som de tilfældigt stødte på gennem simuleringen. På baggrund af disse ideer indledte professorerne et samarbejde med IBM Research for at undersøge, om de kunne kopiere sådanne fordele for deres egne studerende.

Udover at omgive eleverne med digitale projektioner af en scene, bruger omgivelserne flere typer sensorer til dynamisk at tilpasse sig elevernes ord og handlinger. Mikrofoner, som deltagerne bærer, fører deres lyd direkte ind i talegenkendelsesalgoritmer. Kameraer sporer deres bevægelser og bevægelser for at registrere, når de peger på forskellige objekter eller går hen til forskellige virtuelle agenter. Hvis en elev peger på en madret i restaurantmiljøet og spørger, hvad det for eksempel er, kan en virtuel agent svare med navn og beskrivelse. Narrativ generationsteknologi giver også hver agent mulighed for at konstruere mere sofistikerede svar på spørgsmål uden for manchetten (Hvad er rettens historie?) ved hjælp af viden fra Wikipedia. (Samtaleemnerne er dog stadig noget begrænset til den opgave, eleven forsøger at udføre).

Kameraer og sensorer sporer elevernes bevægelser, så de frit kan pege på objekter i en scene for at engagere sig. Rensselaer Polytekniske Institut

Mange af teknologierne i miljøet er kommercielt tilgængelige produkter, der blev vævet sammen til en sammenhængende oplevelse. Men et par stykker skulle udvikles specifikt til projektet. Mandarin-kinesisk har for eksempel fem toner, som er udfordrende for mange nye elever, men som er afgørende for at formidle mening. Sig ordet sælge (卖 slibning ) en lille smule af, og du kan ende med at sige køb (买 mǎi ) i stedet for. Så forskerne lavede en algoritme til at analysere tonerne i elevernes udtale. Den sammenligner dem med dem, der tales som modersmål og viser, hvor de adskiller sig, og giver derefter lyd og visuel feedback direkte i miljøet. Det giver eleverne mulighed for at spørge en virtuel agent, hvordan man siger noget og straks begynde at øve sig på det nye ordforråd.

Hui Su, direktøren for Cognitive and Immersive Systems Laboratory, samarbejdet mellem IBM Research og RPI, der førte initiativet, siger, at hans team stadig er i de tidlige stadier af at forstå, hvor effektivt det er. Men i en pilot i slutningen af ​​2017 fandt forskerne kvalitativt ud, at det øgede elevernes engagement og glæde ved sprogindlæring og hjalp dem til hurtigt at tilegne sig nye ord.

Forud for en restaurantbestillingsøvelse blev eleverne for eksempel ikke undervist i, hvordan de skulle betale for deres mad, men gennem at observere deres jævnaldrende og samtale med de virtuelle agenter, fik mange det nødvendige ordforråd til at gøre det. Det var lidt af en overraskelse, siger Su. En af eleverne kommenterede, at det burde være måden at undervise i sprog på, tilføjer han.

En algoritme giver eleverne visuel feedback på deres toneudtale. Rensselaer Polytekniske Institut

I det første år vil det nye kursus bruge det virtuelle miljø næsten halvdelen af ​​tiden og et traditionelt klasseværelse resten, selvom dette arrangement kan ændre sig i fremtiden.

Hvis klassen giver stærke beviser på at forbedre elevernes læringsresultater, kan den tjene som model for andre. Den mest oplagte idé ville være at udvide det til andre sprog. Men det kan også bruges uden for universiteter til at coache ledere, uddanne regeringspersonale eller udføre andre forberedelsesaktiviteter, der kan drage fordel af scenariesimulering og rollespil.

I sidste ende vil initiativet hjælpe forskernes langsigtede mission til at forstå, hvordan kognitive og fordybende miljøer kan påvirke læring, samarbejde og meningsskabelse, siger Su.

For at få flere historier som denne leveret direkte til din indbakke, tilmeld dig vores Webby-nominerede AI-nyhedsbrev The Algorithm. Det er gratis.

skjule