211service.com
AI har slået mennesker ved læbelæsning
Læbelæsning er notorisk vanskeligt, afhængigt lige så meget af kontekst og viden om sprog, som det gør på visuelle spor. Men forskere viser, at maskinlæring kan bruges til at skelne tale fra lydløse videoklip mere effektivt end professionelle læbelæsere kan.
I et projekt har et hold fra University of Oxfords afdeling for datalogi udviklet et nyt kunstig intelligenssystem kaldet LipNet. Som Kvarts rapporteret , dets system blev bygget på et datasæt kendt som GRID, som består af veloplyste, fremadrettede klip af mennesker, der læser tre-sekunders sætninger. Hver sætning er baseret på en række ord, der følger det samme mønster.
Holdet brugte dette datasæt til at træne et neuralt netværk, svarende til den slags, der ofte bruges til at udføre talegenkendelse. I dette tilfælde identificerer det neurale netværk dog variationer i mundformen over tid, og lærer at knytte denne information til en forklaring på, hvad der bliver sagt. AI'en analyserer ikke optagelserne i stykker, men overvejer det hele, hvilket gør det muligt for den at få en forståelse af konteksten fra den sætning, der analyseres. Det er vigtigt, fordi der er færre mundformer, end der er lyde produceret af den menneskelige stemme.
Hvornår testet , var systemet i stand til at identificere 93,4 procent af ordene korrekt. Menneskelige læbelæsende frivillige, der blev bedt om at udføre de samme opgaver, identificerede kun 52,3 procent af ordene korrekt.
Men som Ny videnskabsmand rapporter , har et andet team fra Oxfords Department of Engineering Science, som har arbejdet med Google DeepMind, bidt en noget mere vanskelig opgave fra sig. I stedet for at bruge et pænt og konsistent datasæt som GRID, har det brugt en serie på 100.000 videoklip taget fra BBC-tv. Disse videoer har et meget bredere sprogudvalg med langt større variation i belysning og hovedpositioner.
Ved brug af en lignende tilgang , lykkedes det Oxford og DeepMind-teamet at skabe en AI, der var i stand til at identificere 46,8 procent af alle ord korrekt. Det er også langt bedre end mennesker, som registrerede kun 12,4 procent af ordene uden fejl. Der er helt klart mange grunde til, at nøjagtigheden er lavere, lige fra belysning og orientering til den større sprogkompleksitet.
Bortset fra forskelle viser begge eksperimenter, at kunstig intelligens klarer sig markant bedre end mennesker ved læbeaflæsning, og det er ikke svært at forestille sig potentielle applikationer til sådan software. I fremtiden kan Skype udfylde hullerne, når en opkalder er i et støjende miljø, f.eks., eller folk med hørebesvær kunne holde deres smartphone op for at høre, hvad nogen siger.
(Læs mere: Kvarts , Ny videnskabsmand , Oxford Machine Learning Læsegruppe , arXiv , Udfordringerne og truslerne ved automatiseret læbelæsning)