211service.com
Løsning af tungevridende problemer ved taleanimation
Motion capture er en meget brugt teknik til at registrere bevægelsen af den menneskelige krop. Faktisk er teknikken blevet allestedsnærværende på områder som sportsvidenskab, hvor den bruges til at analysere bevægelse og gang, såvel som i filmanimation og spil, hvor den bruges til at styre computergenererede avatarer.
Som følge heraf eksisterer en hel industri for at analysere bevægelser på denne måde, sammen med billigt hyldeudstyr og software til at fange og håndtere dataene. Der er et enormt fællesskab af producenter og forbrugere af motion capture, utallige databaser og bestandsanimationsressourcer og et rigt økosystem af proprietære og open source softwareværktøjer til at manipulere dem, siger Ingmar Steiner ved Saarland University i Tyskland og et par venner.
Et af funktionerne i motion capture-verdenen er, at en de facto-standard, kendt som BioVision Hierarchy eller BVH, er opstået til kodning af kropsbevægelsesdata. BVH har overlevet virksomheden, der skabte den og er nu bredt støttet, formentlig fordi den er enkel og klart defineret, ligetil at implementere og menneskelig læsbar, siger Steiner og co.
Men mens BVH bruges til at kode data fra næsten alle tænkelige former for motion capture, er der én undtagelse - tungeartikulation under tale. Hvis du har troet, at taleanimation i spilkarakterer ser dårlig ud, er det grunden.
Denne tilstand er ikke opstået på grund af mangel på data eller teknikkerne til at producere dem. Tværtimod har forskere brugt real-time MRI og elektromagnetiske billeddannelsesteknikker til at optage tungeartikulation i nogen tid nu. Faktisk producerer disse teknikker animationer i væsentligt højere opløsning, end der normalt bruges i film og spil, for eksempel.
Problemet er, at disse teknikker registrerer dataene i et helt andet format, end det konventionelt bruges, og ingen er kommet rundt i arbejdet med at konvertere dem til et mere almindeligt format som BVH. Det gør taleanalyse teknisk udfordrende at udføre og næsten umulig at inkludere nemt i andre medier
Alt det ændrer sig i dag, takket være Steiners og cos arbejde. Disse fyre har fundet ud af, hvordan man konverterer tungedata i høj opløsning til BVH-format, ved at kombinere data fra flere kilder på samme tid.
De har demonstreret den nye tilgang på en standarddatabase over eksisterende tungeartikulationsoptagelser. Disse omfatter MR i realtid, tandscanninger og elektromagnetisk optagelse, som fanger bevægelser ved at placere ledende spoler på forskellige dele af tungen og kraniet til reference, og måling af den måde, disse interagerer med et elektromagnetisk felt, når de bevæger sig.
Resultaterne er animationer genereret ud fra data i høj opløsning, som kan håndteres af mere eller mindre enhver motion capture-software og, afgørende, med et lille nok fodaftryk til at blive inkluderet i realtidsvisualiserings- og kontrolteknikker.
Steiner og co er hurtige til at påpege, at begrænsningerne ved deres tilgang. Denne teknik er på ingen måde beregnet til at give en nøjagtig model af tungeformer eller bevægelser, som tidligere arbejde med biomekaniske modeller gør, siger de. Fordelen her er snarere den lette implementering ... hvor realistisk animation er vigtigere end at matche den sande form på tungen.
Det vil være nyttigt for film- og spilindustrien, hvor god taleanimation er bemærkelsesværdig ved dets fravær. Så det ser ud til at ændre sig. Hold øje med bedre taleanimation i virtuelle figurer og animationer i en ikke alt for fjern fremtid.
Ref: arxiv.org/abs/1310.8585 : Taleanimation ved hjælp af elektromagnetisk artikulografi som bevægelsesfangstdata