Hvorfor mennesker lærer hurtigere end AI – indtil videre

I 2013 udgav DeepMind Technologies, dengang et lidet kendt firma, et banebrydende papir, der viste, hvordan et neuralt netværk kunne lær at spille videospil fra 1980'erne, som mennesker gør - ved at se på skærmen. Disse netværk fortsatte derefter med at tæske de bedste menneskelige spillere.

Et par måneder senere købte Google virksomheden for 400 millioner dollars. DeepMind er siden gået videre med at anvende dyb læring i en række situationer, mest berømt for at udkonkurrere mennesker i det gamle spil Go.

Men selvom dette arbejde er imponerende, fremhæver det en af ​​de væsentlige begrænsninger ved dyb læring. Sammenlignet med mennesker tager maskiner, der bruger denne teknologi, enormt lang tid at lære. Hvad er det ved menneskelig læring, der giver os mulighed for at præstere så godt med relativt lidt erfaring?

I dag får vi et slags svar takket være arbejdet fra Rachit Dubey og kolleger ved University of California, Berkeley. De har undersøgt, hvordan mennesker interagerer med videospil for at finde ud af, hvilken slags forhåndsviden vi stoler på for at give mening ud af dem.

Det viser sig, at mennesker bruger et væld af baggrundsviden, hver gang vi tager et nyt spil. Og det gør spillene væsentligt nemmere at spille. Men stillet over for spil, der ikke gør brug af denne viden, flyver mennesker, mens maskiner suser frem på nøjagtig samme måde.

Tag et kig på computerspillet vist ovenfor til venstre (det originale spil). Dette spil er baseret på en klassiker kaldet Montezuma's Revenge, oprindeligt udgivet til Atari 8-bit computeren i 1984.

Der er ingen manual og ingen instruktioner; du får ikke engang at vide, hvilken sprite du styrer. Og du får kun feedback, hvis du afslutter spillet.

Ville du være i stand til at gøre det? Hvor lang tid ville det tage? Du kan prøv det på denne hjemmeside (sammen med de andre spil nævnt i avisen) .

Efter al sandsynlighed vil spillet tage dig omkring et minut, og i processen vil du sandsynligvis foretage omkring 3.000 tastaturhandlinger. Det var, hvad Dubey og co fandt, da de gav spillet til 40 arbejdere fra Amazons crowdsourcing-side Mechanical Turk, som blev tilbudt $1 for at afslutte det.

Dette er ikke alt for overraskende, da man nemt kunne gætte, at spillets mål er at flytte robotspriten mod prinsessen ved at træde på de murstenslignende genstande og bruge stiger til at nå de højere platforme, mens man undgår de vrede pink og ildobjekterne, siger forskere.

Derimod er spillet svært for maskiner: mange standard dybdelæringsalgoritmer kunne slet ikke løse det, fordi der ikke er nogen måde for en algoritme at evaluere fremskridt inde i spillet, når feedback først kommer fra færdiggørelsen.

Den bedste maskinpræstation var en nysgerrighedsbaseret forstærkningsindlæringsalgoritme, der tog omkring fire millioner tastaturhandlinger for at afslutte spillet. Det svarer til omkring 37 timers uafbrudt spil.

Så hvad gør mennesker så meget bedre? Det viser sig, at vi ikke nærmer os dette spil med en blank tavle. Et menneske vil se, at han eller hun har kontrol over robotten, og at robotten skal undgå ild, klatre på stiger, hoppe over huller og undgå en rynkende fjende for at nå prinsessen. Alt dette er takket være forhåndsviden om, at visse genstande er gode, mens andre (med panderynker eller flammer) er dårlige, at platforme understøtter genstande, mens stiger kan klatres, at ting, der ser ens ud, opfører sig på samme måde, at tyngdekraften trækker genstande ned. , og endda hvad objekter er: ting, der er adskilt fra andre ting og har forskellige egenskaber.

Derimod ved en maskine intet af dette.

Så Dubey og co omformede spillet for at gøre denne tidligere information irrelevant og målte derefter, hvor lang tid det tog menneskelige Turkers at afslutte. Holdet antog derefter, at enhver stigning i denne tid er en proxy for vigtigheden af ​​denne information.

Vi skabte forskellige versioner af videospillet ved at gengive forskellige entiteter såsom stiger, fjender, nøgler, platforme osv. ved at bruge alternative teksturer, forklarer de. De valgte disse teksturer for at maskere forskellige former for forhåndsviden, og de ændrede spillets fysiske egenskaber, såsom virkningen af ​​tyngdekraften, og den måde, agenten interagerer med sit miljø. I hver version var den underliggende dynamik i spillet den samme.

Resultaterne giver fascinerende læsning. Vi oplever, at fjernelse af noget tidligere viden forårsager en drastisk forringelse af den hastighed, hvormed menneskelige spillere løser spillet, siger Dubey og co. Faktisk stiger den tid, det tager for mennesker at løse spillet, fra et minut til over 20 minutter, efterhånden som forskellige former for tidligere information fjernes.

Derimod gør fjernelse af denne information normalt ingen forskel for den hastighed, hvormed maskinalgoritmen lærer.

Holdet er endda i stand til at rangere forskellige slags informationer i betydning efter den stigning i tid, som fjernelse af den forårsager. Fjernelse af objektsemantik, såsom et rynkende ansigt eller ildsymbol, kræver, at menneskelige spillere bruger længere tid, før de er færdige. Men at maskere begrebet objekt gør tingene så meget sværere, at mange tyrkere simpelthen nægtede at spille. Vi var nødt til at øge lønnen til $2,25 for at opmuntre deltagerne til ikke at holde op, siger Dubey og co.

Denne rangordning har et interessant link til den måde, mennesker lærer på. Psykologer har fundet ud af, at babyer, som er to måneder gamle, besidder en primitiv forestilling om genstande, som de forventer at flytte som forbundne helheder. Men i denne alder genkender babyer ikke objektkategorier.

Ved tre til fem måneders alderen lærer spædbørn at genkende objektkategorier; efter 18 til 24 måneder lærer de at genkende individuelle genstande. Omtrent på dette tidspunkt lærer de også genstandes egenskaber (objekt affordances, som psykologer kalder dem), og dermed lærer de forskellen mellem et gangbart skridt langs flad jord og et unwalkable skridt ud for en klippe.

Det viser sig, at Dubey og co's eksperimenter rangerer denne form for lært information i nøjagtig samme rækkefølge, som babyer lærer det. Det er ret interessant at bemærke, at den rækkefølge, som spædbørn øger deres viden i, matcher betydningen af ​​forskellige objektprioriteringer, siger de.

Vores arbejde tager de første skridt i retning af at kvantificere betydningen af ​​forskellige forudsætninger, som mennesker bruger til at løse videospil og til at forstå, hvordan forudgående viden gør mennesker gode til så komplekse opgaver, tilføjer de.

Det antyder en interessant vej frem for computerforskere, der arbejder med maskinintelligens - at programmere deres ladninger med den samme grundlæggende viden, som mennesker opfanger i en tidlig alder. På denne måde skulle maskiner være i stand til at hamle op med mennesker i deres indlæringshastighed, og måske endda overgå dem.

Vi glæder os til at se resultaterne.

Ref: arxiv.org/abs/1802.10217 : Undersøgelse af menneskelige forudsætninger for at spille videospil

skjule