Googles hemmelige DeepMind Startup afslører en 'Neural Turing Machine'

En af neurovidenskabens store udfordringer er at forstå den kortsigtede arbejdshukommelse i den menneskelige hjerne. Samtidig ville dataloger inderligt elske at gengive den samme slags hukommelse i silico .

I dag afslører Googles hemmelighedsfulde DeepMind-startup, som den købte for 400 millioner dollars tidligere i år, en prototypecomputer, der forsøger at efterligne nogle af egenskaberne i den menneskelige hjernes korttidsarbejdshukommelse. Den nye computer er en type neuralt netværk, der er blevet tilpasset til at arbejde med en ekstern hukommelse. Resultatet er en computer, der lærer, mens den gemmer minder og senere kan hente dem til at udføre logiske opgaver ud over dem, den er blevet trænet til at udføre.

DeepMinds gennembrud følger en lang historie med arbejde med korttidshukommelse. I 1950'erne gennemførte den amerikanske kognitive psykolog George Miller et af de mere berømte eksperimenter i hjernevidenskabens historie. Miller var interesseret i kapaciteten af ​​den menneskelige hjernes arbejdshukommelse og satte sig for at måle den ved hjælp af et stort antal elever, som han bad om at udføre simple hukommelsesopgaver.

Millers slående konklusion var, at korttidshukommelsens kapacitet ikke kan defineres af mængden af ​​information, den indeholder. I stedet konkluderede Miller, at arbejdshukommelsen gemmer information i form af bidder, og at den kunne rumme cirka syv af dem.

Det rejser det nysgerrige spørgsmål: hvad er en chunk? I Millers eksperimenter kunne en del være et enkelt ciffer såsom et 4'er, et enkelt bogstav såsom et q, et enkelt ord eller en lille gruppe ord, der tilsammen har en bestemt betydning. Så hver del kan repræsentere alt fra en meget lille mængde information til en enormt kompleks idé, der svarer til store mængder information.

Men uanset hvor meget information en enkelt del repræsenterer, kan den menneskelige hjerne kun lagre omkring syv af dem i sin arbejdshukommelse.

Her er et eksempel. Overvej følgende sætning: Denne bog er spændende læsning med et komplekst plot og naturtro karakterer.

Denne sætning består af omkring syv bidder af information og er klart overskuelig for enhver almindelig læser.

Prøv derimod denne sætning: Denne bog om Romerriget i de første år af Augustus Cæsars regeringstid i slutningen af ​​den romerske republik, beskriver begivenhederne efter det blodige slag ved Actium i 31 f.Kr., da den unge kejser besejrede Mark Antony og Cleopatra ved omfattende at udmanøvrere dem i et større flådeengagement.

Denne sætning indeholder mindst 20 bidder. Så hvis du fandt det sværere at læse, burde det ikke være en overraskelse. Den menneskelige hjerne har problemer med at holde så mange bidder i sin arbejdshukommelse.

I kognitiv videnskab kaldes evnen til at forstå komponenterne i en sætning og gemme dem i arbejdshukommelsen variabel binding. Dette er evnen til at tage et stykke data og tildele det til et slot i hukommelsen og gøre dette gentagne gange med data af forskellig længde, som f.eks. bidder.

I løbet af 1990'erne og 2000'erne forsøgte dataloger gentagne gange at designe algoritmer, kredsløb og neurale netværk, der kunne udføre dette trick. Sådan en computer burde være i stand til at analysere en simpel sætning, som Mary talte til John, ved at opdele den i dens bestanddele af skuespiller, handling og modtageren af ​​handlingen. Så i dette tilfælde vil det tildele Mary rollen som skuespiller, rollen som handling til de ord, der blev talt til, og rollen som modtager af handlingen til John.

Det er denne opgave, som DeepMinds arbejde adresserer, på trods af den meget begrænsede ydeevne af tidligere maskiner. Vores arkitektur trækker på og forstærker dette arbejde, siger Alex Graves, Greg Wayne og Ivo Danihelka hos DeepMind, som er baseret i London.

De begynder med at omdefinere arten af ​​et neuralt netværk. Indtil nu har neurale netværk været mønstre af indbyrdes forbundne neuroner, som er i stand til at ændre styrken af ​​sammenkoblingerne som reaktion på et eksternt input. Dette er en form for læring, der giver dem mulighed for at spotte ligheder mellem forskellige input.

Men den grundlæggende databehandlingsproces indeholder et vigtigt yderligere element. Dette er en ekstern hukommelse, som kan skrives til og læses fra i løbet af en beregning. I Turings berømte beskrivelse af en computer er hukommelsen det tickertape, der passerer frem og tilbage gennem computeren, og som gemmer symboler af forskellig art til senere behandling.

Denne form for læsbar og skrivbar hukommelse er fraværende i et konventionelt neuralt netværk. Så Graves og co har simpelthen tilføjet en. Dette gør det muligt for det neurale netværk at gemme variabler i sin hukommelse og vende tilbage til dem senere for at bruge dem i en beregning.

Dette svarer til den måde, en almindelig computer kan sætte tallet 3 og 4 i registre og senere tilføje dem for at lave 7. Forskellen er, at det neurale netværk kan gemme mere komplekse mønstre af variabler, der f.eks. repræsenterer ordet Mary .

Da denne form for databehandling adskiller sig på en vigtig måde fra et konventionelt neuralt netværk, giver Graves og co det et nyt navn - de kalder det en Neural Turing Machine, den første af sin slags, der er blevet bygget. Neural Turing Machine lærer som et konventionelt neuralt netværk ved at bruge de input, den modtager fra den ydre verden, men den lærer også, hvordan man gemmer denne information, og hvornår den skal hentes.

DeepMind-arbejdet involverer først at konstruere enheden og derefter gennemgå dens hastigheder. Deres eksperimenter består af en række tests for at se, om den, efter at have trænet en Neural Turing-maskine til at udføre en bestemt opgave, så kunne udvide denne evne til større eller mere komplekse opgaver. For eksempel var vi nysgerrige efter at se, om et netværk, der var blevet trænet til at kopiere sekvenser med længde op til 20, kunne kopiere en sekvens på længde 100 uden yderligere træning, siger Graves og co.

Det viser sig, at den neurale Turing-maskine lærer at kopiere sekvenser med længder op til 20 mere eller mindre perfekt. Og så kopierer den sekvenser af længderne 30 og 50 med meget få fejl. For en sekvens med længde 120 begynder fejl at snige sig ind, inklusive en fejl, hvor et enkelt led er duplikeret og skubber alle de følgende termer et skridt tilbage. På trods af at det er subjektivt tæt på en korrekt kopi, fører det til et stort tab, siger holdet.

Selvom de involverede sekvenser er tilfældige, er det ikke svært at forestille sig, hvordan de kan repræsentere mere komplekse ideer såsom Mary eller talte med eller John. Et vigtigt punkt er, at mængden af ​​information, disse sekvenser indeholder, er variabel, ligesom bidder.

De sammenligner ydeevnen af ​​deres Neural Turing Machine med et konventionelt neuralt netværk. Forskellen er væsentlig. Det konventionelle neurale netværk lærer at kopiere sekvenser op til længde 20 næsten perfekt. Men når det kommer til sekvenser, der er længere end træningsdataene, bliver fejlene straks væsentlige. Og dens kopi af den længste sekvens af længde 120 er næsten uigenkendelig sammenlignet med originalen.

DeepMind-teamet fortsætter med at teste Neural Turing Machine på andre opgaver. For eksempel svarer en af ​​disse til fotokopiering: opgaven er at kopiere en sekvens og derefter gentage den sekvens et bestemt antal gange og afslutte med en forudbestemt markør. Endnu en gang udkonkurrerer Neural Turing Machine markant et konventionelt neuralt netværk.

Det er et imponerende stykke arbejde. Vores eksperimenter viser, at [vores Neural Turing Machine] er i stand til at lære simple algoritmer fra eksempeldata og til at bruge disse algoritmer til at generalisere et godt stykke uden for dens træningsregime, siger Graves og co.

Det er et vigtigt skridt fremad, som har potentialet til at gøre computermaskiner meget mere hjerneagtige end nogensinde før. Men der er et betydeligt arbejde forude.

Især den menneskelige hjerne udfører et smart trick for at skabe mening i komplekse argumenter. Et interessant spørgsmål, der følger af Millers tidlige arbejde, er dette: Hvis vores arbejdshukommelse kun er i stand til at håndtere syv bidder, hvordan får vi så mening i komplekse argumenter i bøger, der for eksempel består af tusinder eller titusinder af bidder?

Millers svar er, at hjernen bruger et trick kendt som en omkodning. Lad os gå tilbage til vores eksempel på bogen og tilføje endnu en sætning: Denne bog er spændende læsning med et komplekst plot og naturtro karakterer. Det er klart dækprisen værd.

Når du har læst og forstået den første sætning, gemmer din hjerne de syv bidder på en måde, der er tilgængelig som en enkelt chunk i den næste sætning. I denne anden sætning er pronomenet denne enkelte del. Vores hjerne ved automatisk, at det betyder: bogen, der er spændende læsning med et komplekst plot og naturtro karakterer. Den har omkodet de syv tidligere bidder til en enkelt chunk.

For Miller var hjernens evne til at omkode på denne måde en af ​​nøglerne til kunstig intelligens. Han mente, at indtil en computer kunne reproducere denne evne, kunne den aldrig matche den menneskelige hjernes ydeevne.

Googles DeepMind har udtalt, at dens mål er at løse intelligens. Hvis denne løsning ligner menneskelig intelligens, ville en god test være at se, om Neural Turing Machines er i stand til Millers omkodningstrick.

Ref: arxiv.org/abs/1410.5401 : Neurale Turing-maskiner

skjule