211service.com
Tegn-sprog oversætter
Tosprogede ordbøger er normalt en to-vejs gade: du kan slå et ord op på engelsk og finde f.eks. dets spanske ækvivalent, men du kan også gøre det omvendte. Tegnsprogsordbøger oversætter dog kun fra skrevne ord til fagter. Dette kan være enormt frustrerende, især for forældre til døve børn, der ønsker at forstå ukendte gestus, eller døve, der ønsker at interagere online ved at bruge deres primære sprog. Så Boston University (BU) forskere er ved at udvikle en søgbar ordbog for tegnsprog , hvor enhver bruger kan indtaste en gestus i en ordbogs søgemaskine fra sin egen bærbare computer ved at logge foran et indbygget kamera.
Søgning efter tegn: Forskere i Boston designer den første tegnsprogsordbog, der kan søges efter gestus. En underskriver (billedet) sidder i et studie udstyret med højhastighedskameraer, der fanger håndbevægelser og ansigtsudtryk. Videoer på en bærbar computer får hende til at lave særlige tegn. Video af underskriveren vil blive brugt til at træne algoritmer til at identificere gestusmønstre.
Du har måske en samling af tegnsprog på YouTube, og nu for at søge, skal du søge på engelsk, siger Stan Sclaroff , professor i datalogi ved BU. Det svarer, siger Sclaroff, til at søge efter spansk tekst ved hjælp af engelske oversættelser. Det er unaturligt, siger han, og det er ikke rimeligt.
Sclaroff udvikler ordbogen i samarbejde med Carol Neidle , professor i lingvistik ved BU, og Vassilis Athitsos, assisterende professor i datalogi og teknik ved University of Texas i Arlington. Når brugeren udfører en gestus, vil ordbogen analysere den og trække de fem bedste mulige matches og betydninger op.
Nutidens tegnsprogsgenkendelse er [på] det stadie, hvor talegenkendelse var for 20 år siden, siger Thad Starner , leder af Contextual Computing Group ved Georgia Institute of Technology. Starners gruppe har udviklet sig tegnsprogsgenkendelsessoftware til børn , ved at bruge sensorbelastede handsker til at spore håndbevægelser. Han og hans elever har designet pædagogiske spil, hvor hørehæmmede børn, iført handskerne, lærer tegnsprog. En computer evaluerer håndformen og går videre til næste øvelse, hvis et barn har skrevet rigtigt under.
I modsætning til Starners arbejde, sigter Sclaroff og Neidle efter et sensorløst system, hvor alle med kamera og internetforbindelse kan lære tegnsprog og interagere. Tilgangen er ifølge Starner unik inden for tegnsprogsgenkendelse såvel som inden for computersyn.
Dette kræver meget processorkraft, og det er meget svært at forsøge at håndtere tegnsprog i forskellige videokvaliteter, siger Starner. Så hvis de lykkes, ville det være meget fedt rent faktisk at kunne søge på nettet på tegnsprog.
For at tackle denne stive udfordring beder BU-teamet flere underskrivere om at sidde i et studie, én ad gangen, og underskrive gennem 3.000 bevægelser i en klassisk ordbog for amerikansk tegnsprog (ASL). Mens de signerer, opfanger fire højhastighedskameraer af høj kvalitet samtidig front- og sidevisninger samt ansigtsudtryk. Ifølge Neidle er smil, panderynker og løftede øjenbryn en stort set understuderet del af ASL, der kan give stærke fingerpeg om en gestus betydning.
Efterhånden som de visuelle data kommer ind, analyserer Neidle og hendes elever dem, markerer starten og slutningen af hvert tegn og identificerer vigtige underbevægelser – enheder svarende til engelske fonemer. I mellemtiden bruger Sclaroff denne information til at udvikle algoritmer, der f.eks. kan skelne underskriverens hænder fra baggrunden eller genkende håndposition og form og bevægelsesmønstre. I betragtning af at enhver person kunne underskrive et ord på en lidt anderledes måde, analyserer holdet bevægelser fra både indfødte og ikke-indfødte underskrivere i håb om at udvikle en computergenkendelse, der kan håndtere sådanne variationer.
Den største udfordring fremover kan være at tage højde for de mange ukontrollerbare faktorer på brugerens side af grænsefladen, siger Sclaroff. For eksempel vil en person, der bruger en gestus til at indtaste en søgeforespørgsel på en bærbar computer, have et kamera af lavere kvalitet. Baggrunden kan være mere rodet end det omhyggeligt kontrollerede studiemiljø i databaseeksemplerne, og computeren bliver nødt til at justere for variabler som tøj og hudfarve.
Bare for at producere skiltet og slå det op - det er den virkelige nyhed, vi forsøger at opnå, siger Neidle. Det ville være en forbedring i forhold til alt, hvad der eksisterer nu.