Udfordringerne og truslerne ved automatiseret læbelæsning

Tilbage i det 16. århundrede var en spansk benediktinermunk ved navn Pietro Ponce banebrydende for den tilsyneladende magiske kunst med læbelæsning. Selvom teknikken sandsynligvis går forud for ham, var Ponce den første succesfulde læbelæsningslærer.

Dengang, som nu, blev teknikken primært brugt til at hjælpe mennesker med hørebesvær med at tolke tale. Men det bruges også af andre til at aflytte samtaler. Forskellige eksperimenter viser nemlig, at vores evne til at fortolke tale forbedres, når vi kan se talerens bevægelige læber. Med andre ord, næsten alle bruger mundaflæsning til en vis grad.

Det rejser et interessant spørgsmål. Kan processen med læbeaflæsning automatiseres og udføres af computer? Og hvis ja, hvor vellykket kan denne tilgang være, og hvilken slags trussel udgør den mod privatlivets fred?

I dag får vi nogle svar takket være Ahmad Hassanats arbejde på Mu'tah University i Jordan. Han skitserer de udfordringer, som forskere står over for inden for automatiseret læbelæsning, også kendt som visuel talegenkendelse. Det, der står klart fra hans analyse, er, at hvis læbelæsning skal automatiseres med succes, skal der stadig overvindes betydelige udfordringer.

Den grundlæggende proces ved læbelæsning er at genkende en sekvens af former dannet af munden og derefter matche den til et bestemt ord eller en sekvens af ord.

Der er en væsentlig udfordring her. Under tale danner munden mellem 10 og 14 forskellige former, kendt som visemer. Derimod indeholder tale omkring 50 individuelle lyde kendt som fonemer. Så et enkelt viseme kan repræsentere flere forskellige fonemer.

Og deri ligger problemet. En sekvens af visemer kan normalt ikke associeres med et unikt ord eller en sekvens af ord. I stedet kan en sekvens af visemer have flere forskellige løsninger. Udfordringen for læbelæseren er at vælge den, som taleren har brugt.

Problemet forværres af, at en talers læber ofte er sløret, så en læbelæser i gennemsnit kun ser omkring 50 procent af de talte ord. Resultatet er, at mundaflæsning på ingen måde er perfekt selv for de mest erfarne behandlere.

Eksperimenter viser, hvor svært det er, selv når ordforrådet er enormt begrænset. når folk bliver bedt om at bestemme, hvilke af cifrene 1 til 9, der er blevet talt, rent ved mundaflæsning, er deres succesrate i gennemsnit lige over 50 procent. Overhovedet ikke godt.

Så det er let at forestille sig, at mulighederne for at automatisere denne teknik er dårlige. Men Hassanat peger på en voksende mængde forskning, der tackler dette problem, hjulpet af en hurtig forbedring af maskinsyn i de seneste år.

Det første problem for automatiseret læbeaflæsning er ansigts- og læbegenkendelse. Dette er forbedret i spring og grænser i de senere år. En sværere udfordring er at genkende, udtrække og kategorisere de geometriske træk ved læberne under tale.

Dette gøres ved at måle højden og bredden af ​​læberne samt andre funktioner såsom formen på ellipsen, der afgrænser læberne, antallet af tænder, der kan ses og rødmen af ​​billedet, som bestemmer mængden af ​​tunge, der er synlig. .

Det er svært at bestemme den nøjagtige kontur af læberne på grund af den relativt lille forskel mellem pixels, der viser ansigt og læber. Faktisk siger Hassanat, at dette ikke er nødvendigt, da afgrænsningsellipsen og højden og formen af ​​munden giver en anstændig tilnærmelse af de virkelige konturer. Vi argumenterer for, at det ikke er nødvendigt at bruge alle eller nogle af læbens konturpunkter til at definere den ydre form af læberne, siger han.

De eksperimenter, han og andre har lavet, har dog fundet andre problemer. Den ene er, at skæg og overskæg kan forvirre visuelle talegenkendelsessystemer markant. Derfor er de mere succesrige med kvindelige end mandlige talere.

Et andet problem er, at nogle mennesker er mere udtryksfulde med deres læber end andre, så det er nemmere at fortolke, hvad de siger, ud fra læbebevægelser alene. Faktisk bevæger nogle mennesker næsten ikke deres læber overhovedet, og disse såkaldt visuelt-talløse personer er næsten umulige at fortolke.

Ikke desto mindre er Hassanats eget visuelle talegenkendelsessystem bemærkelsesværdigt godt. Hans eksperimenter opnår en gennemsnitlig succesrate på 76 procent, dog under nøje kontrollerede forhold. Succesraten er endnu højere for kvinder på grund af fraværet af skæg og overskæg.

Alt dette tyder på, at der er et betydeligt potentiale for visuelle talegenkendelsessystemer i fremtiden, især som en hjælp til andre former for talegenkendelse.

Der er dog stadig vigtige udfordringer. Hassanat påpeger især, at de bedste menneskelige læbelæsere er afhængige af betydelige mængder yderligere information til at fortolke tale, såsom konteksten af ​​samtalen, talerens kropsbevægelser og et godt kendskab til grammatik, idiomer og almindelig tale.

Det er faktorer, som computere endnu ikke har fået styr på. Automatisk læbeaflæsning kan stadig være et stykke vej væk, men de tidlige tegn er, at det på ingen måde er umuligt.

Og det rejser en hel række andre privatlivsrelaterede problemer. Det kan for eksempel være, at videoer af samtaler uden lyd er umulige at fortolke nu, men kan være nemme at fortolke i fremtiden. Hvordan kan politikere, erhvervsledere og populære personer retfærdiggøre sig under den slags fremtidsanalyser?

Noget at tænke over næste gang du ser et CCTV-kamera.

Ref: arxiv.org/abs/1409.1411 : Visuel talegenkendelse

skjule