211service.com
Hvordan armbind kan oversætte tegnsprog
Et par myo armbånd til bevægelser og en computer eller smartphone kan gøre det hurtigere og nemmere for hørehæmmede at kommunikere ved hjælp af tegnsprog med dem, der ikke forstår det.
Det siger forskere ved Arizona State University, at de kan gøre med et projekt, der hedder Scepter . De bruger armbindene til at lære software en række bevægelser med amerikanske tegnsprog; så, når en person, der bærer båndene, laver et af disse tegn, kan det matches med dets tilsvarende ord eller sætning i Sceptres database og vises som tekst på en skærm.
Håbet er at lette kommunikationen i særligt akutte situationer, såsom på en læge eller et hospital, uden at være afhængig af skriftlig kommunikation eller, som anden tegnsprogsgenkendelsesforskning har gjort, at bruge kameraer til at genkende tegnsprogsbevægelser. EN papir om arbejdet vil blive præsenteret på en konference om intelligente brugergrænseflader i marts.
Forskere stolede på Myo-armbåndene for at få Sceptre til at fungere, fordi de inkluderer både en inertimåleenhed til sporing af bevægelse og elektromyografisensorer til muskelsansning, som kan bruges til at bestemme fingerkonfigurationer. De trænede software til at genkende en række forskellige ASL-bevægelser, såvel som tegnene for individuelle bogstaver og tallene fra 1 til 10, alt sammen udført af en person, der bærer Myo-armbåndene.
Sceptre, et forskningsprojekt, der oversætter tegnsprog som tekst ved hjælp af Myo-armbånd, kunne fås til at fungere med en computer eller en smartphone.
Efter at have fået brugere til at træne deres software på 20 forskellige ASL-bevægelser som pizza, glad og orange ved at gentage hver af dem tre gange, fandt forskerne ud af, at Scepter derefter var i stand til at dechifrere tegnet korrekt næsten 98 procent af tiden.
I en video demonstrerer, hvordan det virker, Prajwal Paudyal, en kandidatstuderende ved Arizona State University, der var medforfatter til papiret , bærer armbindene og underskriver flere forskellige ting, der så er illustreret på en computerskærm, som hele morgenen, hovedpine og ikke kan sove.
Selvom tegnene blev vist som tekst i undersøgelsen, kunne de også blive talt højt af en app for at lette en samtale, siger Paudyal . Og mens forskernes demo viste teksten på en computers skærm, som Myo-armbåndene forbindes til via Bluetooth, kunne Scepter også bruges med kun en smartphone - noget forskerne også arbejder på (Myo understøtter streaming af data fra to armbånd til et smartphone, men forskerne siger, at dette ikke var muligt, da de udførte deres indledende arbejde).
Ideelt set kan personen bruge dette overalt, hvor de går, siger Paudyal.
Sceptre, et forskningsprojekt fra Arizona State University, bruger to Myo-armbånd til at oversætte tegnsprog som tekst.
Roozbeh Jafari , en lektor ved Texas A&M's Center for Remote Healthcare Technologies and Systems, har udført lignende arbejde, selvom det involverede at bygge sensorerne i stedet for at bruge enheder, som ASU-gruppen gjorde.
Han siger, at der er en række problemer, der skal løses for at få noget som Scepter til at fungere for forbrugerne. Typisk, når du placerer elektromyografisensorer på kroppen, skal systemet, der bruger dem, kalibreres, medmindre de er på nøjagtig samme sted, som de var på tidligere, siger han. Der er også behov for at tage højde for variationer, der naturligt forekommer i den måde, folk underskriver de samme ting på. På trods af disse forhindringer, siger han, synes jeg, at vi bevæger os i den rigtige retning.