Googles AI kan nu oversætte din tale, mens du beholder din stemme

Et billede af FN's generalsekretær Ban Ki-moon, der lytter til et oversættelsesapparat EMILIO MORENATTI / AP

Lyt til dette spanske lydklip.

Sådan lyder dens engelske oversættelse, når den sættes gennem et traditionelt automatiseret oversættelsessystem.

Sådan lyder det nu, når det sættes gennem Googles nye automatiske oversættelsessystem.

Resultaterne er ikke perfekte, men du kan på en måde høre, hvordan Googles oversætter var i stand til at bevare stemmen og tonen fra den originale højttaler. Den kan gøre dette, fordi den konverterer lydinput direkte til lydoutput uden mellemliggende skridt . I modsætning hertil konverterer traditionelle oversættelsessystemer lyd til tekst, oversætter teksten og syntetiserer derefter lyden igen, hvilket undervejs mister egenskaberne fra den originale stemme.

Det nye system, kaldet Translatotron, har tre komponenter, som alle ser på højttalerens lydspektrogram - et visuelt øjebliksbillede af de frekvenser, der bruges, når lyden afspilles, ofte kaldet et stemmeaftryk. Den første komponent bruger et neuralt netværk, der er trænet til at kortlægge lydspektrogrammet i inputsproget til audiospektrogrammet i outputsproget. Den anden konverterer spektrogrammet til en lydbølge, der kan afspilles. Den tredje komponent kan derefter lægge den originale højttalers vokalegenskaber tilbage i den endelige lydoutput.

Denne tilgang producerer ikke kun mere nuancerede oversættelser ved at bevare vigtige nonverbale signaler, men i teorien burde den også minimere oversættelsesfejl, fordi den reducerer opgaven til færre trin.

Translatotron er i øjeblikket et proof of concept. Under testen afprøvede forskerne systemet kun med spansk-til-engelsk oversættelse, hvilket allerede krævede en masse omhyggeligt sammensat træningsdata. Men lydoutput som klippet ovenfor demonstrerer potentialet for et kommercielt system senere hen. Du kan lytte til flere af dem her .

skjule