Hvorfor Googles AI kan skrive smukke sange, men stadig ikke kan fortælle en vittighed

Jeremy Portje

At skabe nuddelklavermelodier og endeløse konfigurationer af kattetegninger med AI lyder måske ikke som et oplagt projekt for Google, men det giver rigtig god mening for Douglas Eck.

Eck har brugt omkring 15 år på at studere kunstig intelligens og musik, og i disse dage er han forsker på Google Brain-teamet, der leder Magenta – Googles open source-forskningsprojekt, der har til formål at lave kunst og musik med maskinlæring.

Han talte til MIT Technology Review om, hvordan Google producerer nye lyde med dybe neurale netværk, hvor Magenta tager AI-musik, og hvorfor computere er dårlige til at fortælle vittigheder.

Nedenfor er et redigeret uddrag af interviewet. Præmie MIT Technology Review abonnenter kan lytte til hele interviewet.

At bruge kunstig intelligens til at lave kunst er ikke nyt, så hvad er unikt ved Googles tilgang?

Vi udforsker denne meget specifikke retning, der har at gøre med dybe neurale netværk og tilbagevendende neurale netværk og andre former for maskinlæring. Og vi prøver også virkelig hårdt på at engagere både det kunstneriske fællesskab og kreative kodere og open source-udviklere på samme tid, så vi har gjort det til et open source-projekt.

Meget Magenta er fokuseret på musik. Hvorfor er AI god til at lave og forstærke musik?

For at være ærlig er det bare en bias af mig. Hele min forskerkarriere har handlet om musik og lyd. Jeg tror, ​​at omfanget af Magenta altid har handlet om kunst generelt, historiefortælling, musik, fortælling, billedsprog og forsøg på at forstå, hvordan man bruger AI som et kreativt værktøj. Men du skal starte et sted. Og jeg tror, ​​at hvis du gør seriøse fremskridt med noget så kompliceret som musik, og så vigtigt for os som musik, så er mit håb, at noget af det også vil lægge sig over på andre domæner.

Kan vi lytte til noget musik, der er lavet med Magenta?

Det her hedder noget musik fra en model Ydelse RNN .

Lyt og vær opmærksom på teksturen og alt det der. Dette er en slags musikkomposition, men det er samtidig også en musikforestilling, fordi modellen ikke kun genererer kvarte toner – den bestemmer, hvor hurtigt de skal spilles, hvor højt de skal spilles, og faktisk gengiver den det, den blev trænet i, hvilket var en masse klaveroptrædener udført som en del af en klaverkonkurrence.

Som det stykke viser, er musik, der er blevet skabt indtil videre med Magenta, i det væsentlige improvisation. Kan AI bruges til at skabe et sammenhængende stykke musik med struktur?

Det arbejder vi på. Så en af ​​de vigtigste fremtidige forskningsretninger for os og ærligt talt for hele feltet af generative modeller – med det mener jeg maskinlæringsmodeller, der kan forsøge at generere noget nyt – er læringsstruktur. Og det viser sig i musikken her. Du hører, at der ikke er nogen overordnet model, der på en måde bestemmer, hvor tingene skal gå hen.

Hvis vi ønskede at give den akkordændringer, selv symbolerne for akkordændringer, og lære kontekstuelt, hvordan man udnytter disse akkordændringer, kunne vi gøre det. Vi kunne endda have en separat model, der genererer akkordændringer. Vores mål er at komme op med denne ende-til-ende-model, der selv finder ud af alle disse strukturniveauer.

Fortæl mig om Skitse-RNN , som er et nyligt Magenta-eksperiment, der giver dig mulighed for tegne med et tilbagevendende neuralt netværk – dybest set begynder du at tegne en ananas, og så tager Sketch-RNN over og fuldender det igen og igen i mange forskellige stilarter.

Vi var i stand til at bruge en masse tegninger lavet af folk, der spillede Pictionary mod en maskinlæringsalgoritme – dette var [data fra et andet Google AI-tegneeksperiment lavet af Google Creative Lab,] Hurtig, Tegn!

Der er grænser for dataene. Der er kun så meget, du kommer til at få ud af disse små små 20-sekunders tegninger. Men jeg synes, det arbejde udført af hovedforskeren [Sketch-RNN], David Ha, var virkelig smukt. Han trænede dybest set et tilbagevendende neuralt netværk for at lære at gengive disse tegninger. Han tvang på en måde modellen til at lære, hvad der er vigtigt. Modellen var ikke stærk nok til at huske hele tegningen. Fordi den ikke kan huske alle de streger, den ser, dens opgave er bare at gengive en masse katte eller hvad som helst, den er tvunget til at lære, hvad der er vigtigt ved katte – hvad er de fælles aspekter af kattetegninger på tværs af millioner af kattetegninger? Og så når du leger med denne model, kan du bede den om at generere nye katte ud af den blå luft. Det genererer virkelig interessante katte, der ligner, synes jeg, uhyggeligt, hvordan folk ville tegne katte.

TensorFlow

Jeg læste, at du arbejder med Magenta for at lære computere at fortælle vittigheder. Hvilken slags vittigheder genererer computere? (Det var ikke i sig selv den første linje i en joke.)

Projektet var meget foreløbigt, meget undersøgende og stillede spørgsmålet: kan vi forstå den del af vittighedsfortælling, som handler om overraskelse? Især punch-line-relaterede vittigheder og ordspil, der er helt klart et punkt, hvor alt kører som normalt, jeg tror, ​​jeg ved, hvad der sker med denne sætning, og så, bom! Ret? Og jeg tror også, intuitivt, at der er en geometri til punch line. Det er overraskende, hvis bygningen falder sammen på dit hoved; [en punch line er] ikke den slags overraskelse. Det er ligesom, åh, rigtigt, jeg forstår det! Du ved? Og den følelse af, at jeg forstår det, tror jeg, er en slags tilbageskridt, man er tvunget til at gøre for at få det. Så vi kiggede på bestemte typer af maskinlæringsmodeller, der kan generere disse ting kaldet sandhedsvektorer, der forsøger at forstå, hvad der sker semantisk i en sætning, og så kan vi aktivt manipulere dem for at få en anden effekt?

Og den slags vittighed, vi hørte om, var... Magikeren var så vred, at hun trak sin hare ud. Og ordspil med hare og hår og kanin – du forstår det, ikke?

Ja. Men man skal vide meget om ord og sprog for at forstå det.

Ja, du skal vide meget. Ikke alene fortalte denne model ingen vittigheder, sjove eller ej, men vi fik faktisk ikke koden til at konvergere.

Hvad er du midt i at prøve at finde ud af med Magenta lige nu?

Forsøger at forstå mere af den langsigtede struktur med musik og også forsøge at forgrene sig til et andet interessant spørgsmål, som er: kan vi lære af feedbacken, ikke fra en kunstner, men fra et publikum?

Dette ser på den kunstneriske proces som en slags iterativ. The Beatles havde 12 album, og hver af dem var anderledes. Og de viste alle, at disse musikere lærer af feedback, de får fra jævnaldrende og fra folkemængder, men også andre ting, der sker med andre kunstnere. De er virkelig knyttet til kultur. Kunstnere er ikke statiske.

Og denne meget enkle idé: Kan du få nogen til at lave noget med en generativ model, lægge det ud, men så drage fordel af den feedback, de får? Åh, det var godt, det var dårligt. Den feedback, som vi får, kan kunstneren lære af på én måde, men måske kan maskinlæringsmodellen også lære af den og sige: Åh, jeg kan se, her er alle mennesker, og her er, hvad de synes om, hvad Det gør jeg, og jeg har disse parametre. Og vi kan indstille disse parametre i forhold til feedbacken ved hjælp af forstærkende læring, og det arbejder vi også på.

Mens jeg lytter til musik skabt med Magenta, spekulerer jeg på: Hvis du bruger data til at træne kunstig intelligens, kan AI'en så skabe noget virkelig originalt, eller vil det bare være afledt af det, det er blevet trænet i, uanset om det er Madonna-sange eller impressionistiske malerier, eller begge dele?

Jeg tror, ​​det afhænger af, hvad vi mener med original. Jeg tror, ​​det er usandsynligt for mig, at en maskinlæringsalgoritme vil komme og generere en transformativ ny måde at lave kunst på. Jeg tror, ​​at en person, der arbejder med denne teknologi, måske kan gøre det. Og jeg tror, ​​at vi bare er så, så, så langt fra, at denne AI har en fornemmelse af, hvordan verden virkelig er. Som om det bare er så, så langt væk. Samtidig synes jeg, at meget kunst er originalt i en anden forstand. Ligesom, jeg laver endnu en fed EDM-sang med drop på det rigtige sted, det er sjovt at danse til og er nyt, men måske ikke, ligesom, skaber en helt ny genre. Og jeg synes alligevel, at den slags kreativitet er rigtig interessant. At det meste af det, vi laver, er at sidde i en genre, vi på en måde forstår, og vi prøver nye ting, og den slags kreativitet tror jeg, at den AI, vi har nu, kan spille en kæmpe rolle i. Den reproducerer ikke. datasættet, ikke? Det blander tingene sammen.

skjule