AI har knækket et vigtigt matematisk puslespil for at forstå vores verden

matematisk genereret landskab

Fru Tech | Science Photo Library via AP





Medmindre du er fysiker eller ingeniør, er der virkelig ikke megen grund til at vide om partielle differentialligninger. Jeg ved. Efter mange års gennemgang af dem i bacheloruddannelsen, mens jeg studerede maskinteknik, har jeg aldrig brugt dem siden i den virkelige verden.

Men partielle differentialligninger, eller PDE'er, er også noget magiske. De er en kategori af matematiske ligninger, der er rigtig gode til at beskrive forandringer over rum og tid, og derfor meget praktiske til at beskrive de fysiske fænomener i vores univers. De kan bruges til at modellere alt fra planetbaner til pladetektonik til luftturbulensen, der forstyrrer en flyvning, hvilket igen giver os mulighed for at gøre praktiske ting som at forudsige seismisk aktivitet og designe sikre fly.

Fangsten er, at PDE'er notorisk er svære at løse. Og her illustreres betydningen af ​​løse måske bedst ved et eksempel. Lad os sige, at du forsøger at simulere luftturbulens for at teste et nyt flydesign. Der er en kendt PDE kaldet Navier-Stokes, der bruges til at beskrive bevægelsen af ​​enhver væske. Løsning af Navier-Stokes giver dig mulighed for at tage et øjebliksbillede af luftens bevægelse (a.k.a. vindforhold) på et hvilket som helst tidspunkt og modellere, hvordan den vil fortsætte med at bevæge sig, eller hvordan den bevægede sig før.



Disse beregninger er meget komplekse og beregningsintensive, hvilket er grunden til, at discipliner, der bruger mange PDE'er, ofte er afhængige af supercomputere til at regne ud. Det er også grunden til, at AI-feltet har taget en særlig interesse for disse ligninger. Hvis vi kunne bruge dyb læring til at fremskynde processen med at løse dem, kunne det gøre en hel masse gavn for videnskabelig undersøgelse og ingeniørarbejde.

Nu har forskere ved Caltech introduceret en ny dyb læringsteknik til at løse PDE'er, der er dramatisk mere nøjagtige end deep-learning metoder udviklet tidligere. Det er også meget mere generaliserbart, i stand til at løse hele familier af PDE'er - såsom Navier-Stokes-ligningen for enhver type væske - uden at skulle genoptrænes. Endelig er det 1.000 gange hurtigere end traditionelle matematiske formler, hvilket ville lette vores afhængighed af supercomputere og øge vores beregningskapacitet til at modellere endnu større problemer. Det er rigtigt. Kom med det.

Hammer tid

Før vi dykker ned i, hvordan forskerne gjorde dette, lad os først værdsætte resultaterne. I nedenstående gif kan du se en imponerende demonstration. Den første kolonne viser to øjebliksbilleder af en væskes bevægelse; den anden viser, hvordan væsken fortsatte med at bevæge sig i det virkelige liv; og den tredje viser, hvordan det neurale netværk forudsagde, at væsken ville bevæge sig. Det ser stort set identisk ud med det andet.



Papiret har fået en masse buzz på Twitter, og endda et råb fra rapperen MC Hammer . Ja virkelig.

Okay, tilbage til hvordan de gjorde det.



Når funktionen passer

Den første ting at forstå her er, at neurale netværk grundlæggende er funktionstilnærmere. (Sig hvad?) Når de træner på et datasæt af parrede input og output, beregner de faktisk funktionen eller rækken af ​​matematiske operationer, der vil transponere den ene til den anden. Tænk på at bygge en kattedetektor. Du træner det neurale netværk ved at fodre det med en masse billeder af katte og ting, der ikke er katte (inputs) og mærke hver gruppe med henholdsvis 1 eller 0 (output). Det neurale netværk leder derefter efter den bedste funktion, der kan konvertere hvert billede af en kat til et 1'er og hvert billede af alt andet til et 0. Det er sådan, det kan se på et nyt billede og fortælle dig, om det er en kat eller ej. Den bruger den funktion, den fandt, til at beregne sit svar - og hvis træningen var god, vil den klare det meste af tiden.

Denne funktionstilnærmelsesproces er bekvemt, hvad vi har brug for for at løse en PDE. Vi forsøger i sidste ende at finde en funktion, der bedst beskriver for eksempel luftpartiklernes bevægelse over fysisk rum og tid.

Nu er her papirets kerne. Neurale netværk er normalt trænet til at tilnærme funktioner mellem input og output defineret i det euklidiske rum, din klassiske graf med x-, y- og z-akser. Men denne gang besluttede forskerne at definere input og output i Fourier-rummet, som er en speciel type graf til plotning af bølgefrekvenser. Den intuition, de trak på fra arbejde på andre områder, er, at noget som luftens bevægelse faktisk kan beskrives som en kombination af bølgefrekvenser, siger Anima Anandkumar, en Caltech-professor, der overvågede forskningen sammen med sine kolleger, professorerne Andrew Stuart og Kaushik Bhattacharya. Vindens generelle retning på makroniveau er som en lav frekvens med meget lange, sløve bølger, mens de små hvirvler, der dannes på mikroniveau, er som høje frekvenser med meget korte og hurtige.



Hvorfor betyder det noget? Fordi det er langt nemmere at tilnærme en Fourier-funktion i Fourier-rummet end at skændes med PDE'er i det euklidiske rum, hvilket i høj grad forenkler det neurale netværks arbejde. Se store nøjagtigheds- og effektivitetsgevinster: Ud over dens enorme hastighedsfordel i forhold til traditionelle metoder, opnår deres teknik en 30 % lavere fejlrate ved løsning af Navier-Stokes end tidligere deep-learning-metoder.

Det hele er ekstremt smart, og gør også metoden mere generaliserbar. Tidligere dybdelæringsmetoder skulle trænes separat for hver type væske, hvorimod denne kun skal trænes én gang for at håndtere dem alle, som bekræftet af forskernes eksperimenter. Selvom de endnu ikke har prøvet at udvide dette til andre eksempler, burde det også være i stand til at håndtere enhver jordsammensætning, når man løser PDE'er relateret til seismisk aktivitet, eller enhver materialetype, når man løser PDE'er relateret til termisk ledningsevne.

Super-simulering

Professorerne og deres ph.d.-studerende lavede ikke denne forskning kun for den teoretiske sjov. De ønsker at bringe kunstig intelligens til flere videnskabelige discipliner. Det var gennem at tale med forskellige samarbejdspartnere inden for klimavidenskab, seismologi og materialevidenskab, at Anandkumar først besluttede at tackle PDE-udfordringen med sine kolleger og studerende. De arbejder nu på at omsætte deres metode i praksis sammen med andre forskere ved Caltech og Lawrence Berkeley National Laboratory.

Et forskningsemne Anandkumar er særligt begejstret for: klimaændringer. Navier-Stokes er ikke kun god til at modellere luftturbulens; det bruges også til at modellere vejrmønstre. At have gode, finkornede vejrudsigter på globalt plan er et så udfordrende problem, siger hun, og selv på de største supercomputere kan vi ikke gøre det på globalt plan i dag. Så hvis vi kan bruge disse metoder til at fremskynde hele pipelinen, ville det have enorm betydning.

Der er også mange, mange flere ansøgninger, tilføjer hun. I den forstand er himlen grænsen, da vi har en generel måde at fremskynde alle disse applikationer på.

skjule