211service.com
En algoritme, der lærer gennem belønninger, kan vise, hvordan vores hjerne også gør
Neurale veje Wikimedia Commons
I 1951 lånte Marvin Minsky, dengang en studerende ved Harvard, observationer fra dyrs adfærd for at forsøge at designe en intelligent maskine. Med udgangspunkt i ideer fra fysiologen Ivan Pavlovs arbejde, som berømt brugte hunde til at vise, hvordan dyr lærer gennem straffe og belønninger, Minsky oprettet en computer der løbende kunne lære gennem lignende forstærkning at løse en virtuel labyrint.
På det tidspunkt havde neuroforskere endnu ikke fundet ud af de mekanismer i hjernen, der tillader dyr at lære på denne måde. Men Minsky var stadig i stand til løst at efterligne adfærden og derved fremme kunstig intelligens. Flere årtier senere, da forstærkningslæring fortsatte med at modnes, hjalp det til gengæld neurovidenskabsområdet opdage disse mekanismer, der føder ind i en dydig cyklus af fremskridt mellem de to felter.
I en papir udgivet i Nature i dag har DeepMind, Alphabets AI-datterselskab, igen brugt lektioner fra forstærkningslæring til at foreslå en ny teori om belønningsmekanismerne i vores hjerner. Hypotesen, understøttet af indledende eksperimentelle fund, kunne ikke kun forbedre vores forståelse af mental sundhed og motivation. Det kunne også validere den nuværende retning for AI-forskning mod at opbygge mere menneskelignende generel intelligens.
På et højt niveau følger forstærkningslæring indsigten fra Pavlovs hunde: det er muligt at lære en agent at mestre komplekse, nye opgaver kun gennem positiv og negativ feedback. En algoritme begynder at lære en tildelt opgave ved tilfældigt at forudsige, hvilken handling der kan give den en belønning. Den tager derefter handlingen, observerer den reelle belønning og justerer sin forudsigelse baseret på fejlmarginen. I løbet af millioner eller endda milliarder af forsøg konvergerer algoritmens forudsigelsesfejl til nul, på hvilket tidspunkt den ved præcist, hvilke handlinger den skal tage for at maksimere sin belønning og dermed fuldføre sin opgave.
Det viser sig, at hjernens belønningssystem fungerer på nogenlunde samme måde - en opdagelse gjort i 1990'erne, inspireret af forstærkningslæringsalgoritmer. Når et menneske eller dyr er ved at udføre en handling, giver dets dopaminneuroner en forudsigelse om den forventede belønning. Når den faktiske belønning er modtaget, fyrer de derefter en mængde dopamin af, der svarer til forudsigelsesfejlen. En bedre belønning end forventet udløser en stærk dopaminfrigivelse, mens en dårligere belønning end forventet undertrykker kemikaliets produktion. Dopaminen tjener med andre ord som et korrektionssignal, der fortæller neuronerne at justere deres forudsigelser, indtil de konvergerer til virkeligheden. Fænomenet, kendt som belønningsforudsigelsesfejl, fungerer meget som en forstærkningsindlæringsalgoritme.
DeepMinds nye papir bygger på den tætte forbindelse mellem disse naturlige og kunstige indlæringsmekanismer. I 2017 introducerede dets forskere en forbedret forstærkningsindlæringsalgoritme, der siden har låst op for en stadig mere imponerende ydeevne på forskellige opgaver. De mener nu, at denne nye metode kan tilbyde en endnu mere præcis forklaring på, hvordan dopaminneuroner fungerer i hjernen.
Specifikt ændrer den forbedrede algoritme den måde, den forudsiger belønninger på. Mens den gamle tilgang estimerede belønninger som et enkelt tal - beregnet til at svare til det gennemsnitlige forventede resultat - repræsenterer den nye tilgang dem mere præcist som en fordeling. (Tænk et øjeblik på en spillemaskine: du kan enten vinde eller tabe efter en fordeling. Men i intet tilfælde ville du nogensinde modtage det gennemsnitlige forventede resultat.)
Modifikationen giver sig selv til en ny hypotese: Forudsiger dopaminneuroner også belønninger på samme fordelingsmæssige måde?
For at teste denne teori gik DeepMind sammen med en gruppe på Harvard for at observere dopaminneurons adfærd hos mus. De satte musene på en opgave og belønnede dem baseret på terningerne, og målte hele deres dopaminneuroners affyringsmønstre. De fandt ud af, at hver neuron frigav forskellige mængder dopamin, hvilket betyder, at de alle havde forudsagt forskellige udfald. Mens nogle var for optimistiske og forudsagde højere belønninger end de rent faktisk blev modtaget, var andre mere pessimistiske og sænkede virkeligheden. Da forskerne kortlagde fordelingen af disse forudsigelser, fulgte den tæt fordelingen af de faktiske belønninger. Disse data giver overbevisende beviser på, at hjernen faktisk bruger fordelingsbelønningsforudsigelser til at styrke sin indlæringsalgoritme.
Ved at måle dopaminneurons adfærd hos mus fandt forskerne ud af, at fordelingen af neuronernes forudsigelser (afkodet) nøje fulgte fordelingen af de faktiske belønninger (grundsandhed). DeepMind
Dette er en fin udvidelse til begrebet dopaminkodning af belønningsforudsigelsesfejl, skrev Wolfram Schultz, en pioner inden for dopaminneuronadfærd, som ikke var involveret i undersøgelsen, i en e-mail. Det er forbløffende, hvordan denne meget simple dopaminrespons forudsigeligt følger intuitive mønstre af grundlæggende biologiske læreprocesser, som nu er ved at blive en del af AI.
Undersøgelsen har implikationer for både AI og neurovidenskab. For det første validerer det distributionsforstærkende læring som en lovende vej til mere avancerede AI-egenskaber. Hvis hjernen bruger det, er det sandsynligvis en god idé, sagde Matt Botvinick, DeepMinds direktør for neurovidenskabsforskning og en af hovedforfatterne på papiret, under en pressebriefing. Det fortæller os, at dette er en beregningsteknik, der kan skaleres i virkelige situationer. Det kommer til at passe godt sammen med andre beregningsprocesser.
For det andet kunne det tilbyde en vigtig opdatering til en af de kanoniske teorier inden for neurovidenskab om belønningssystemer i hjernen, hvilket igen kunne forbedre vores forståelse af alt fra motivation til mental sundhed. Hvad kan det for eksempel betyde at have pessimistiske og optimistiske dopaminneuroner? Hvis hjernen selektivt kun lyttede til det ene eller det andet, kunne det så føre til kemiske ubalancer og fremkalde depression?
Grundlæggende belyser resultaterne ved yderligere afkodning af processer i hjernen også, hvad der skaber menneskelig intelligens. Det giver os et nyt perspektiv på, hvad der foregår i vores hjerner i hverdagen, sagde Botvinick.