Deep Learning Machine løser Cocktail Party-problemet

Cocktailparty-effekten er evnen til at fokusere på en bestemt menneskelig stemme, mens andre stemmer eller baggrundsstøj frafiltreres. Den lethed, hvormed mennesker udfører dette trick, modsiger den udfordring, som videnskabsmænd og ingeniører har stået over for ved at reproducere det syntetisk. I det store og hele udkonkurrerer mennesker nemt de bedste automatiserede metoder til at fremhæve stemmer.

Et særligt udfordrende cocktailparty-problem er inden for musikområdet, hvor mennesker nemt kan koncentrere sig om en sangstemme overlejret på en musikalsk baggrund, der omfatter en bred vifte af instrumenter. Til sammenligning er maskiner dårlige til denne opgave.

I dag ser det ud til at ændre sig takket være arbejdet fra Andrew Simpson og venner ved University of Surrey i Storbritannien. Disse fyre har brugt nogle af de seneste fremskridt forbundet med dybe neurale netværk til at adskille menneskestemmer fra baggrunden i en bred vifte af sange.

Deres tilgang viser de enorme fremskridt, der er sket i de senere år inden for maskinlæring og neurale netværk. Og det baner vejen for en mere generel løsning på det berømte cocktailparty-problem, som blandt andet skal gøre det muligt for vokalen nemt at adskilles fra den musik, de akkompagnerer.

Metoden disse fyre bruger er relativt ligetil. De starter med en database med 63 sange, der er tilgængelige som et sæt individuelle numre, der hver indeholder et forskelligt instrument eller stemme, samt den fuldt blandede version af sangen.

Simpson og co opdeler hvert spor i 20-sekunders segmenter og laver et spektrogram for hver, der viser, hvordan frekvenserne i lyden varierer over tid. Resultatet er en slags unikt fingeraftryk, der identificerer instrumentet eller stemmen.

De laver også et spektrogram af den fuldt blandede version af sangen. Dette er i det væsentlige alle komponentspektrogrammerne lagt sammen.

Opgaven med at udvælge en stemme fra denne blanding er i bund og grund opgaven med at adskille stemmens unikke spektrogram fra de andre spektrogrammer, der er til stede.

Simpson og co trænede deres dybe konvolutionelle neurale netværk til at gøre præcis det. De brugte 50 af disse sange til at træne netværket, mens de beholdt de resterende 13 til at teste det på. I alt genererede det mere end 20.000 spektrogrammer til træningsformål.

Opgaven for det neurale netværk var enkel. Som input gav de det fuldt blandede spektrogram og forventede, at det i det væsentlige ville producere vokalspektrogrammet som output.

Opgaven i denne form for maskinlæring er parameteroptimering. Deres dybe neurale netværk har en milliard parametre, der skal tunes på en måde, der producerer det ønskede output.

Denne optimeringsproces – eller læring – sker ved iteration. Så netværket begynder med disse parametre sat tilfældigt og forbedrer derefter gradvist indstillingerne, hver gang det scanner gennem databasen, hvilket det gjorde over hundrede iterationer.

Efter at have fundet et godt setup til netværket, gav Simpson og co det de 13 sange, de ikke havde set før for at teste, hvor godt det kunne adskille vokalen fra mixet.

Udgangene viste sig at være imponerende. Disse resultater viser, at en foldet dyb neural netværkstilgang er i stand til at generalisere stemmeseparation, lært i en musikalsk kontekst, til nye musikalske kontekster, siger holdet.

Simpson og co of sammenlignede endda deres resultater med resultaterne fra en konventionel cocktailpartyalgoritme anvendt på de samme data. Den største fordel ved det dybe neurale netværk ser ud til at være i dets generelle indlæring af, hvad 'vokale' lyde er, siger de.

Med andre ord, efter at have lært, hvordan en stemme lyder, kan et dybt neuralt netværk bruge denne information til at udvælge andre stemmer fra en blanding. Men hvor god denne tilgang er sammenlignet med menneskelig præstation, siger de ikke.

En umiddelbar anvendelse er at producere musiknumre minus vokal til karaokemaskiner. Det er helt klart et … errr … vigtigt mål, men der er også bredere implikationer.

Dybe neurale netværk revolutionerer maskinlæring på en lang række områder. Indtil for nylig havde mennesker en klar dominans i mønstergenkendelsesopgaver som ansigtsgenkendelse og objektgenkendelse. Det forspring er blevet betydeligt reduceret og i nogle tilfælde helt tabt.

Nu spiller maskiner indhentning inden for cocktailparty-problemer, og kun et fjols ville vædde på, at de triumferer i en ikke alt for fjern fremtid.

Ref: arxiv.org/abs/1504.04658 : Deep Karaoke: Uddrag af vokal fra musikalske blandinger ved hjælp af et konvolutionelt Deep Neural Network

skjule