Deep learning forvandler monooptagelser til fordybende lyd

Samuel Dixon | Unsplash

Lyt til en fugl, der synger i et nærliggende træ, og du kan relativt hurtigt identificere dens omtrentlige placering uden at kigge. Lyt til brølet fra en bilmotor, når du krydser vejen, og du kan som regel med det samme se, om den er bagved dig.

Den menneskelige evne til at lokalisere en lyd i tredimensionelle rum er ekstraordinær. Fænomenet er godt forstået - det er resultatet af den asymmetriske form af vores ører og afstanden mellem dem.

Men mens forskere har lært, hvordan man laver 3D-billeder, der nemt narre vores visuelle systemer, har ingen fundet en tilfredsstillende måde at skabe syntetiske 3D-lyde, der overbevisende narrer vores auditive systemer.

I dag ser det ud til at ændre sig i det mindste delvist, takket være arbejdet fra Ruohan Gao ved University of Texas ved og Kristen Grauman hos Facebook Research. De har brugt et trick, som mennesker også udnytter til at lære et AI-system at konvertere almindelige monolyde til ret god 3D-lyd. Forskerne kalder det 2,5D-lyd.

Først lidt baggrund. Hjernen bruger en række spor til at finde ud af, hvor en lyd kommer fra i 3D-rummet. Et vigtigt fingerpeg er forskellen mellem en lyds ankomsttider ved hvert øre - den interaurale tidsforskel.

En lyd produceret på din venstre side vil tydeligvis ankomme til dit venstre øre før det højre. Og selvom du ikke er bevidst om denne forskel, bruger hjernen den til at bestemme, hvor lyden er kommet fra.

Et andet fingerpeg er forskellen i volumen. Den samme lyd vil være højere i venstre øre end i højre, og hjernen bruger også denne information til at foretage sin opgørelse. Dette kaldes den interaurale niveauforskel.

Disse forskelle afhænger af afstanden mellem ørerne. Stereooptagelser gengiver ikke denne effekt, fordi adskillelsen af ​​stereomikrofoner ikke matcher den.

Den måde, lyd interagerer med øreflipper på, er også vigtig. Flapperne forvrænger lyden på måder, der afhænger af den retning, den kommer fra. For eksempel når en lyd forfra øregangen, før den rammer øreklappen. Derimod bliver den samme lyd, der kommer bagved hovedet, forvrænget af øreklappen, før den når øregangen.

Hjernen kan også mærke disse forskelle. Faktisk er ørets asymmetriske form årsagen til, at vi kan se, når en lyd for eksempel kommer fra oven eller fra mange andre retninger.

Tricket til at gengive 3D-lyd kunstigt er at gengive den effekt, som al denne geometri har på lyden. Og det er et hårdt problem.

En måde at måle forvrængning på er med binaural optagelse. Dette er en optagelse lavet ved at placere en mikrofon inde i hvert øre, som kan opfange disse små variationer.

Ved at analysere variationerne kan forskerne derefter reproducere dem ved hjælp af en matematisk algoritme kendt som en hovedrelateret overførselsfunktion. Det gør ethvert almindeligt par hovedtelefoner til ekstraordinære 3D-lydmaskiner.

Men fordi alles ører er forskellige, hører alle lyd på en anden måde. Så at skabe en persons hovedrelaterede overførselsfunktion betyder, at man skal måle formen på personens ører, før man afspiller en optagelse. Og selvom det kan gøres i laboratoriet, har ingen fundet ud af, hvordan man gør det i naturen.

Alligevel er der måder at tilnærme 3D-lyd på ved hjælp af lydforvrængninger, der ikke afhænger af øreformen - de interaurale tids- og niveauforskelle.

Tricket, som Grauman og Gao bruger, er at bestemme, hvilken retning en lyd kommer fra ved hjælp af visuelle signaler (som mennesker ofte også gør). Så givet en video af en scene og mono lydoptagelse, regner maskinlæringssystemet ud af, hvor lydene kommer fra, og forvrænger derefter de interaurale tids- og niveauforskelle for at frembringe denne effekt for lytteren.

Forestil dig for eksempel en video, der viser et par musikere, der spiller på en tromme og et klaver. Hvis trommen er i venstre side af synsfeltet og klaveret til højre, er det ligetil at antage, at trommelydene skal komme fra venstre og klaveret fra højre. Det er, hvad dette maskinlæringssystem gør, og forvrænger lyden tilsvarende.

Forskernes træningsmetode er forholdsvis ligetil. Det første skridt i træningen af ​​et maskinlæringssystem er at skabe en database med eksempler på den effekt, det skal lære. Grauman og Gao skabte en ved at lave binaurale optagelser af over 2.000 musikklip, som de også filmede.

Deres binaurale optager består af et par syntetiske ører adskilt af bredden af ​​et menneskehoved, som også optager scenen forude ved hjælp af et GoPro-kamera.

Holdet brugte derefter disse optagelser til at træne en maskinlæringsalgoritme til at genkende, hvor en lyd kom fra givet videoen af ​​scenen. Efter at have lært dette, er den i stand til at se en video og derefter forvrænge en monooptagelse på en måde, der simulerer, hvor lyden burde komme fra. Vi kalder det resulterende output 2.5D visuel lyd - den visuelle strøm hjælper med at 'løfte' den flade enkeltkanalslyd til rumlig lyd, siger Grauman og Gao.

Resultaterne er imponerende. Du kan se en video af deres arbejde her - Sørg for at have høretelefoner på, mens du ser.

Videoen sammenligner resultaterne af 2.5D-optagelser med monooptagelse og viser, hvor godt det kan være. Den forudsagte 2.5D visuelle lyd tilbyder en mere fordybende lydoplevelse, siger Grauman og Gao.

Det producerer dog ikke fuld 3D-lyd på grund af ovennævnte årsager - forskerne opretter ikke en personlig hovedrelateret overførselsfunktion.

Og der er nogle situationer, som algoritmen har svært ved at håndtere. Det er klart, at systemet ikke kan håndtere nogen lydkilde, der ikke er synlig i videoen. Den kan heller ikke håndtere lydkilder, den ikke er blevet trænet i at genkende. Dette system er primært fokuseret på musikvideoer.

Ikke desto mindre har Grauman og Gao en smart idé, der fungerer godt til mange musikvideoer. Og de har ambitioner om at udvide dets applikationer. Vi planlægger at udforske måder at inkorporere objektlokalisering og bevægelse på og eksplicit modellere scenelyde, siger de.

Ref: arxiv.org/abs/1812.04204 : 2.5D visuel lyd

skjule