Den ekstraordinære forbindelse mellem dybe neurale netværk og universets natur

I de sidste par år har deep learning-teknikker transformeret verden af ​​kunstig intelligens. Én efter én er de evner og teknikker, som mennesker engang forestillede sig, var enestående vores egne, begyndt at falde for angrebet fra stadig mere kraftfulde maskiner. Dybe neurale netværk er nu bedre end mennesker til opgaver som ansigtsgenkendelse og objektgenkendelse. De har mestret det ældgamle spil Go og tæsket de bedste menneskelige spillere.

Men der er et problem. Der er ingen matematisk grund til, at netværk arrangeret i lag skal være så gode til disse udfordringer. Matematikere er urolige. På trods af den enorme succes med dybe neurale netværk er ingen helt sikker på, hvordan de opnår deres succes.

I dag ændrer det sig takket være Henry Lins arbejde ved Harvard University og Max Tegmark ved MIT. Disse fyre siger, at grunden til, at matematikere har været så flove, er, at svaret afhænger af universets natur. Med andre ord ligger svaret i fysikkens regime snarere end matematikken.

Lad os først opsætte problemet ved at bruge eksemplet med at klassificere et megabit-gråskalabillede for at bestemme, om det viser en kat eller en hund.

Sådan et billede består af en million pixels, der hver kan tage en af ​​256 gråtoneværdier. Så i teorien kan der være 2561000000 mulige billeder, og for hver enkelt er det nødvendigt at beregne, om det viser en kat eller en hund. Og alligevel klarer neurale netværk, med blot tusinder eller millioner af parametre, på en eller anden måde denne klassificeringsopgave med lethed.

I matematiksproget fungerer neurale netværk ved at tilnærme komplekse matematiske funktioner med enklere. Når det kommer til at klassificere billeder af katte og hunde, skal det neurale netværk implementere en funktion, der tager en million gråskalapixel som input og udsender sandsynlighedsfordelingen af, hvad det kan repræsentere.

Problemet er, at der er størrelsesordener flere matematiske funktioner end mulige netværk til at tilnærme dem. Og alligevel får dybe neurale netværk på en eller anden måde det rigtige svar.

Nu siger Lin og Tegmark, at de har fundet ud af hvorfor. Svaret er, at universet er styret af en lille delmængde af alle mulige funktioner. Med andre ord, når fysikkens love nedskrives matematisk, kan de alle beskrives ved funktioner, der har et bemærkelsesværdigt sæt simple egenskaber.

Så dybe neurale netværk behøver ikke at tilnærme nogen mulig matematisk funktion, kun en lille delmængde af dem.

For at sætte dette i perspektiv, overvej rækkefølgen af ​​en polynomiel funktion, som er størrelsen af ​​dens højeste eksponent. Så en andengradsligning som y=x2 har orden 2, ligningen y=x24 har orden 24, og så videre.

Det er klart, at antallet af ordener er uendeligt, og alligevel optræder kun en lille delmængde af polynomier i fysikkens love. Af grunde, der stadig ikke er fuldt ud forstået, kan vores univers beskrives nøjagtigt af polynomiske Hamiltonianere af lav orden, siger Lin og Tegmark. Typisk har polynomier, der beskriver fysikkens love, rækkefølger fra 2 til 4.

Fysikkens love har andre vigtige egenskaber. For eksempel er de normalt symmetriske, når det kommer til rotation og translation. Drej en kat eller hund gennem 360 grader, og det ser ens ud; oversæt det med 10 meter eller 100 meter eller en kilometer, og det vil se det samme ud. Det forenkler også opgaven med at tilnærme processen med kat eller hund genkendelse.

Disse egenskaber betyder, at neurale netværk ikke behøver at tilnærme en uendelighed af mulige matematiske funktioner, men kun en lille delmængde af de simpleste.

Der er en anden egenskab ved universet, som neurale netværk udnytter. Dette er hierarkiet af dens struktur. Elementarpartikler danner atomer, som igen danner molekyler, celler, organismer, planeter, solsystemer, galakser osv., siger Lin og Tegmark. Og komplekse strukturer dannes ofte gennem en sekvens af enklere trin.

Dette er grunden til, at strukturen af ​​neurale netværk også er vigtig: lagene i disse netværk kan tilnærme hvert trin i årsagssekvensen.

Lin og Tegmark giver eksemplet med den kosmiske mikrobølgebaggrundsstråling, ekkoet fra Big Bang, der gennemsyrer universet. I de senere år har forskellige rumfartøjer kortlagt denne stråling i stadig højere opløsning. Og selvfølgelig har fysikere undret sig over, hvorfor disse kort har den form, de gør.

Tegmark og Lin påpeger, at uanset årsagen, er det uden tvivl resultatet af et kausalt hierarki. Et sæt kosmologiske parametre (tætheden af ​​mørkt stof osv.) bestemmer effektspektret af tæthedssvingninger i vores univers, som igen bestemmer mønsteret af kosmisk mikrobølgebaggrundsstråling, der når os fra vores tidlige univers, som bliver kombineret med forgrundsradio støj fra vores galakse til at producere de frekvensafhængige himmelkort, der er optaget af et satellitbaseret teleskop, siger de.

Hvert af disse kausale lag indeholder gradvist flere data. Der er kun en håndfuld kosmologiske parametre, men kortene og den støj, de indeholder, består af milliarder af tal. Fysikkens mål er at analysere de store tal på en måde, der afslører de mindre.

Og når fænomener har denne hierarkiske struktur, gør neurale netværk processen med at analysere det væsentligt nemmere.

Vi har vist, at succesen med dyb og billig læring ikke kun afhænger af matematik, men også af fysik, som favoriserer visse klasser af usædvanligt simple sandsynlighedsfordelinger, som dyb læring er unikt egnet til at modellere, konkluderer Lin og Tegmark.

Det er interessant og vigtigt arbejde med betydelige implikationer. Kunstige neurale netværk er berømt baseret på biologiske. Så ikke alene forklarer Lin og Tegmarks ideer, hvorfor deep learning-maskiner fungerer så godt, de forklarer også, hvorfor menneskelige hjerner kan give mening om universet. Evolutionen har på en eller anden måde sat sig fast på en hjernestruktur, der er ideel til at pirre universets kompleksitet.

Dette arbejde åbner vejen for betydelige fremskridt inden for kunstig intelligens. Nu hvor vi endelig forstår, hvorfor dybe neurale netværk fungerer så godt, kan matematikere gå i gang med at udforske de specifikke matematiske egenskaber, der gør det muligt for dem at præstere så godt. At styrke den analytiske forståelse af dyb læring kan foreslå måder at forbedre den på, siger Lin og Tegmark.

Deep learning har taget store fremskridt i de senere år. Med denne forbedrede forståelse vil fremskridtshastigheden nødvendigvis accelerere.

Ref: arxiv.org/abs/1608.08225 : Hvorfor fungerer dyb og billig læring så godt?

skjule