211service.com
Nysgerrighed kan være afgørende for virkelig smart AI
Hr. tech
En computeralgoritme udstyret med en form for kunstig nysgerrighed kan lære at løse vanskelige problemer, selv når det ikke umiddelbart er klart, hvilke handlinger der kan hjælpe den med at nå dette mål.
Forskere ved University of California, Berkeley, udviklede en iboende nysgerrighedsmodel for at få deres læringsalgoritme til at fungere, selv når der ikke er et stærkt feedbacksignal. Nysgerrighedsmodellen udviklet af dette team ser, at AI-softwaren, der kontrollerer en virtuel agent i et videospil, forsøger at maksimere sin forståelse af sit miljø og især aspekter af det miljø, der påvirker det. Der har tidligere været bestræbelser på at give AI-agenter nysgerrighed, men disse har haft en tendens til at fungere på en mere forenklet måde.
Tricket kan hjælpe med at løse en mangel ved nutidens mest kraftfulde maskinlæringsteknikker, og det kan pege på måder at gøre maskiner bedre til at løse problemer i den virkelige verden.
Belønninger i den virkelige verden er meget sparsomme, siger Pulkit Agrawal , en ph.d.-studerende ved UC Berkeley, som udførte forskningen sammen med kolleger. Babyer laver alle disse tilfældige eksperimenter, og du kan tænke på det som en slags nysgerrighed. De lærer en eller anden form for færdigheder.
Adskillige kraftfulde maskinlæringsteknikker har gjort maskiner smartere i de senere år. Blandt disse har en metode kendt som forstærkningslæring gjort det muligt for maskiner at udføre ting, som ville være svære at definere i kode. Forstærkningslæring involverer at bruge positive belønninger til at guide en algoritmes adfærd mod et bestemt mål (se 10 Breakthrough Technologies 2017: Reinforcement Learning).
Forstærkende læring var en grundlæggende del af AlphaGo , et program udviklet af DeepMind , for at spille det abstrakte og komplekse brætspil Gå med en utrolig dygtighed. Teknikken bliver nu udforsket som en måde at tilføre maskiner andre færdigheder, som kan være umulige at kode manuelt. For eksempel kan det give en robotarm mulighed for selv at finde ud af, hvordan den skal udføre en ønsket opgave.
Forstærkende læring har dog sine begrænsninger. Agrawal bemærker, at det ofte kræver en enorm mængde træning at lære en opgave, og processen kan være vanskelig, hvis den nødvendige feedback ikke er umiddelbart tilgængelig. For eksempel virker metoden ikke til computerspil, hvor fordelene ved bestemt adfærd ikke umiddelbart er indlysende. Det er her, nysgerrighed kunne hjælpe.
Forskerne prøvede tilgangen, i kombination med forstærkningslæring, inden for to simple videospil: Mario Bros., et klassisk platformspil, og VizDoom, en grundlæggende 3-D-skydespil.
I begge spil gjorde brugen af kunstig nysgerrighed læringsprocessen mere effektiv. I 3D-spillet, for eksempel, i stedet for at bruge for meget tid på at støde ind i vægge, bevægede agenten sig rundt i sit miljø og lærte at navigere hurtigere. Selv uden anden belønning var agenten i stand til at navigere i begge spil overraskende godt. I Mario Bros. lærte den at undgå at blive dræbt, fordi dette mindskede dens evne til at udforske og lære om sit miljø.
TIL papir der beskriver forskningen vil blive publiceret på en major AI-konference senere dette år.
Kunstig nysgerrighed har været et aktivt forskningsområde i nogen tid. Pierre-Yves Oudeyer , en forskningsdirektør ved Fransk Institut for Forskning i Datalogi og Automation , har i løbet af de sidste mange år været banebrydende for udviklingen af computerprogrammer og robotter, der udviser simple former for nysgerrighed.
Det, der er meget spændende lige nu, er, at disse ideer, der i høj grad blev set som 'eksotiske' af både mainstream AI og neurovidenskabsforskere, nu er ved at blive et stort emne inden for både AI og neurovidenskab, siger Oudeyer.
Arbejdet kunne have reelle praktiske fordele. UC Berkeley-teamet er ivrige efter at teste det på robotter, der bruger forstærkningslæring til at finde ud af, hvordan man gør ting som at tage fat i akavede genstande. Agrawal siger, at robotter kan spilde en enorm mængde tid på at udføre tilfældige bevægelser. Når en sådan robot er udstyret med medfødt nysgerrighed, burde den hurtigere udforske sine omgivelser og eksperimentere med genstande i nærheden, siger han.
Brenden Sø , en forsker ved New York University, der bygger beregningsmodeller af menneskelige kognitive evner, siger, at arbejdet virker lovende. At udvikle maskiner med lignende kvaliteter er et vigtigt skridt i retning af at bygge maskiner, der lærer og tænker som mennesker, sagde han i en e-mail. Det er meget imponerende, at agenten ved kun at bruge nysgerrighedsdrevet læring kan lære at navigere et niveau i Mario. Agenten ser ikke engang på kampresultatet.
Samtidig, siger Lake, er den nysgerrighed, som det nye program viser, faktisk ret anderledes end for eksempel et barns. Mennesker har en tendens til at vise en meget dybere interesse for deres verden, siger han.
Det er en meget egocentrisk form for nysgerrighed, siger Lake. Agenten er kun nysgerrig efter egenskaber i sit miljø, der relaterer til dens egne handlinger. Folk er mere generelt nysgerrige. Folk ønsker at lære om verden på måder, der er mindre direkte knyttet til deres egne handlinger.