En ny måde at bygge bittesmå neurale netværk på kan skabe kraftfuld kunstig intelligens på din telefon

FRK. TECH Ms. Tech

Neurale netværk er kernesoftwaren til dyb læring. Selvom de er så udbredte, er de dog virkelig dårligt forstået. Forskere har observeret deres nye egenskaber uden egentlig at forstå hvorfor de arbejder, som de gør.

Nu en nyt papir fra MIT har taget et stort skridt i retning af at besvare dette spørgsmål. Og i processen har forskerne gjort en enkel, men dramatisk opdagelse: Vi har brugt neurale netværk langt større, end vi faktisk har brug for. I nogle tilfælde er de 10 - endda 100 - gange større, så træning af dem koster os størrelsesordener mere tid og regnekraft end nødvendigt.

Sagt på en anden måde, inden for ethvert neuralt netværk findes der et langt mindre netværk, der kan trænes til at opnå den samme ydeevne som dets overdimensionerede forælder. Dette er ikke kun spændende nyheder for AI-forskere. Opdagelsen har potentialet til at låse op for nye applikationer – nogle af dem kan vi endnu ikke overskue – som kan forbedre vores daglige liv. Mere om det senere.

Men lad os først dykke ned i, hvordan neurale netværk fungerer for at forstå, hvorfor dette er muligt.

Et diagram over et neuralt netværk, der lærer at genkende en løve. JEFF CLUNE/SCREENSHOT

Hvordan neurale netværk fungerer

Du har måske set neurale netværk afbildet i diagrammer som det ovenfor: de er sammensat af stablede lag af simple beregningsknuder, der er forbundet for at beregne mønstre i data.

Forbindelserne er det, der er vigtigt. Før et neuralt netværk trænes, tildeles disse forbindelser tilfældige værdier mellem 0 og 1, der repræsenterer deres intensitet. (Dette kaldes initialiseringsprocessen.) Mens netværket under træning bliver fodret med en række f.eks. dyrefotos, justerer og justerer det disse intensiteter - på en måde som din hjerne styrker eller svækker forskellige neuronforbindelser, efterhånden som du samler erfaring og viden. Efter træning bliver de endelige forbindelsesintensiteter så brugt i al evighed til at genkende dyr på nye fotos.

Mens mekanikken i neurale netværk er godt forstået, er grunden til, at de fungerer, som de gør, forblevet et mysterium. Gennem masser af eksperimenter har forskere imidlertid observeret to egenskaber ved neurale netværk, som har vist sig nyttige.

Observation #1. Når et netværk initialiseres før træningsprocessen, er der altid en vis sandsynlighed for, at de tilfældigt tildelte forbindelsesstyrker ender i en utrænelig konfiguration. Med andre ord, uanset hvor mange dyrefotos du fodrer det neurale netværk, vil det ikke opnå en anstændig ydeevne, og du skal bare geninitialisere det til en ny konfiguration. Jo større netværket er (jo flere lag og noder det har), jo mindre sandsynligt er det. Mens et lille neuralt netværk kun kan trænes i én ud af hver femte initialiseringer, kan et større netværk trænes i fire ud af hver femte. Igen, hvorfor dette sker havde været et mysterium, men det er derfor, forskere typisk bruger meget store netværk til deres dybe læringsopgaver. De ønsker at øge deres chancer for at opnå en succesfuld model.

Observation #2. Konsekvensen er, at et neuralt netværk normalt starter større, end det behøver at være. Når først den er færdig med at træne, forbliver typisk kun en brøkdel af dens forbindelser stærke, mens de andre ender temmelig svage - så svage, at du faktisk kan slette eller beskære dem uden at påvirke netværkets ydeevne.

I mange år nu har forskere udnyttet denne anden observation til at skrumpe deres netværk efter træning for at sænke den tid og de beregningsomkostninger, der er forbundet med at køre dem. Men ingen troede, det var muligt at skrumpe deres netværk Før uddannelse. Det blev antaget, at man skulle starte med et overdimensioneret netværk, og træningsprocessen skulle køre sit forløb for at adskille de relevante forbindelser fra de irrelevante.

Jonathan Frankle, MIT PhD-studerende, der var medforfatter til papiret, satte spørgsmålstegn ved denne antagelse. Hvis du har brug for langt færre forbindelser, end du startede med, siger han, hvorfor kan vi så ikke bare træne det mindre netværk uden de ekstra forbindelser? Det viser sig, at du kan.

Michael Carbin (til venstre) og Jonathan Frankle (til højre), forfatterne af papiret. Jason Dorfman, MIT CSAIL

Lottokupon-hypotesen

Opdagelsen afhænger af den virkelighed, at de tilfældige forbindelsesstyrker, der tildeles under initialisering, faktisk ikke er tilfældige i deres konsekvenser: de disponerer forskellige dele af netværket til at fejle eller lykkes, før træning overhovedet finder sted. Sagt på en anden måde, så påvirker den indledende konfiguration, hvilken endelige konfiguration netværket vil nå frem til.

Ved at fokusere på denne idé fandt forskerne ud af, at hvis du beskærer et overdimensioneret netværk efter træning, kan du faktisk genbruge det resulterende mindre netværk til at træne på nye data og bevare høj ydeevne - så længe du nulstiller hver forbindelse inden for dette reducerede netværk tilbage til dens oprindelige styrke.

Fra dette fund foreslår Frankle og hans medforfatter Michael Carbin, en adjunkt ved MIT, det, de kalder lotteriseddelhypotesen. Når du tilfældigt initialiserer et neuralt netværks forbindelsesstyrker, er det næsten som at købe en pose lotterisedler. I din taske, håber du, er en vindende billet – dvs. en indledende konfiguration, der vil være let at træne og resultere i en succesfuld model.

Dette forklarer også, hvorfor observation #1 holder stik. At starte med et større netværk er som at købe flere lottokuponer. Du øger ikke mængden af ​​kraft, som du kaster over dit dybe indlæringsproblem; du øger simpelthen sandsynligheden for, at du får en vindende konfiguration. Når du har fundet den vindende konfiguration, bør du være i stand til at genbruge den igen og igen, i stedet for at fortsætte med at spille lotteriet igen.

Næste skridt

Dette rejser en masse spørgsmål. For det første, hvordan finder du den vindende billet? I deres papir tog Frankle og Carbin en brutal tilgang til at træne og beskære et overdimensioneret netværk med et datasæt for at udtrække vinderkuponen til et andet datasæt. I teorien burde der være meget mere effektive måder at finde – eller endda designe – en vindende konfiguration på fra starten.

For det andet, hvad er træningsgrænserne for en vindende konfiguration? Formodentlig vil forskellige slags data og forskellige deep learning-opgaver kræve forskellige konfigurationer.

For det tredje, hvad er det mindst mulige neurale netværk, som du kan slippe afsted med, mens du stadig opnår høj ydeevne? Frankle fandt ud af, at han gennem en iterativ trænings- og beskæringsproces konsekvent var i stand til at reducere startnetværket til mellem 10 % og 20 % af dets oprindelige størrelse. Men han mener, der er en chance for, at den bliver endnu mindre.

Allerede nu er mange forskerhold inden for AI-samfundet begyndt at udføre opfølgningsarbejde. En forsker ved Princeton for nylig drillede resultaterne af et kommende papir, der behandler det andet spørgsmål. Et team hos Uber offentliggjorde også en nyt papir på flere eksperimenter, der undersøger karakteren af ​​de metaforiske lotterisedler. Mest overraskende fandt de ud af, at når først en vindende konfiguration er blevet fundet, opnår den allerede væsentligt bedre ydeevne end det originale utrænede overstørrelsesnetværk Før nogen som helst træning. Med andre ord er handlingen med at beskære et netværk for at udtrække en vindende konfiguration i sig selv en vigtig træningsmetode.

Neuralt netværk nirvana

Frankle forestiller sig en fremtid, hvor forskersamfundet vil have en open source-database over alle de forskellige konfigurationer, de har fundet, med beskrivelser af, hvilke opgaver de er gode til. Han kalder i spøg dette neurale netværk nirvana. Han mener, at det dramatisk vil accelerere og demokratisere AI-forskningen ved at sænke omkostningerne og hastigheden af ​​træning og ved at give folk uden gigantiske dataservere mulighed for at udføre dette arbejde direkte på små bærbare computere eller endda mobiltelefoner.

Det kan også ændre arten af ​​AI-applikationer. Hvis du kan træne et neuralt netværk lokalt på en enhed i stedet for i skyen, kan du forbedre træningsprocessens hastighed og datasikkerheden. Forestil dig for eksempel et maskinlæringsbaseret medicinsk udstyr, der kunne forbedre sig selv gennem brug uden at skulle sende patientdata til Googles eller Amazons servere.

Vi støder konstant op mod kanten af, hvad vi kan træne, siger Jason Yosinski, et stiftende medlem af Uber AI Labs, der var medforfatter til det opfølgende Uber-papir, hvilket betyder de største netværk, du kan passe på en GPU eller det længste, vi kan tåle at vente, før vi får et resultat tilbage. Hvis forskere kunne finde ud af, hvordan man identificerer vindende konfigurationer fra starten, ville det reducere størrelsen af ​​neurale netværk med en faktor på 10, endda 100. Mulighedsloftet ville stige dramatisk og åbne en ny verden af ​​potentielle anvendelser.

skjule