AI lærte at bruge værktøjer efter næsten 500 millioner spil med gemmeleg

OpenAi

I de tidlige dage af livet på Jorden var biologiske organismer overordentlig simple. De var mikroskopiske encellede væsner med ringe eller ingen evne til at koordinere. Alligevel førte milliarder af års evolution gennem konkurrence og naturlig udvælgelse til de komplekse livsformer, vi har i dag – såvel som kompleks menneskelig intelligens.

Forskere ved OpenAI, det San Francisco-baserede for-profit AI-forskningslaboratorium, tester nu en hypotese: Hvis man kunne efterligne den slags konkurrence i en virtuel verden, ville det så også give anledning til meget mere sofistikeret kunstig intelligens?

Eksperimentet bygger på to eksisterende ideer på området: multi-agent læring, ideen om at placere flere algoritmer i konkurrence eller koordinering for at fremprovokere emergent adfærd, og forstærkende læring, den specifikke maskinlæringsteknik, der lærer at opnå et mål gennem forsøg og fejl. (DeepMind populariserede sidstnævnte med sit gennembrudsprogram AlphaGo, som slog den bedste menneskelige spiller i det gamle kinesiske brætspil Go.)

I en nyt papir frigivet i dag, har OpenAI nu afsløret sine første resultater. Ved at spille et simpelt gemmeleg hundredvis af millioner gange udviklede to modsatrettede hold af AI-agenter komplekse gemme- og søgestrategier, der involverede brug af værktøj og samarbejde. Forskningen giver også indsigt i OpenAIs dominerende forskningsstrategi: at dramatisk skalere eksisterende AI-teknikker for at se, hvilke egenskaber der dukker op.

Efter omkring 25 millioner runder gemmeleg, lærte gemmerne at bygge forter for at vinde spillet. OpenAI

Seks faser af strategi

For at skabe spillet designede forskerne et virtuelt miljø, der bestod af et lukket rum med forskellige objekter som blokke, ramper og mobile og immobile barrikader. Agenterne selv blev kontrolleret af forstærkningsindlæringsalgoritmer. For hvert spil blev agenterne opdelt i to hold: skjulere blev henholdsvis belønnet eller straffet for at undgå eller undlade at undgå søgerne; søgende blev også belønnet eller straffet for at finde eller undlade at finde gemmerne. Som i et klassisk gemmeleg fik gemmerne også et par sekunders forspring. Forskerne gav agenterne ingen andre instruktioner.

I løbet af hundreder af millioner af spilrunder udviklede agenterne adskillige strategier og modstrategier. I den første fase udviklede gemmerne og søgende meget grove undgå- og jagtestrategier ved at bevæge sig rundt i rummet uden at manipulere nogen af ​​objekterne.

I fase tre lærte de søgende at klatre over fortets mure ved hjælp af en rampe. OpenAI

Men omkring de 25 millioner spil blev spillet mere sofistikeret. Skjulerne lærte at flytte og låse kasserne og barrikaderne i miljøet for at bygge forter omkring sig selv, så de søgende aldrig ville se dem. Ikke kun det, men de udviklede også koordinationsstrategier, såsom at passere hinandens objekter, for at fremskynde fortbygningsprocessen.

Efter yderligere 75 millioner runder opdagede søgerne imidlertid en modstrategi, der flyttede processen ind i fase tre. De lærte at flytte en rampe ved siden af ​​skjulernes fort og bruge den til at klatre over murene. Ved fase fire, 10 millioner runder senere, havde gemmerne lært at låse ramperne på plads, før de byggede deres fort. (Ingen af ​​holdene kunne låse en genstand op, der blev låst af et modstanderhold.)

Først troede forskerne ved OpenAI, at dette var den sidste fase af spillet, men til sidst, ved 380-millioner-spillet, dukkede to strategier mere op. Søgerne udviklede endnu en gang en strategi for at bryde ind i skjulernes fort ved at bruge en låst rampe til at klatre op på en ulåst kasse, og derefter surfe sig vej på toppen af ​​kassen til fortet og over dets vægge. I den sidste fase lærte gemmerne igen at låse alle ramper og kasser på plads, inden de byggede deres fort.

Endelig, efter 380 millioner træningsrunder, lærte de søgende at 'boksurfe' for at klatre over fortets mure. OpenAI

Emergent intelligens

Forskerne mener, at disse første resultater viser en lovende ny metode til at udvikle mere kompleks AI. Vi fortalte ikke gemmerne eller de søgende, at de skulle løbe i nærheden af ​​en kasse eller interagere med den, siger Bowen Baker, en af ​​avisens forfattere. Men gennem multiagent-konkurrence skabte de nye opgaver for hinanden, så det andet hold måtte tilpasse sig.

Denne undersøgelse afspejler OpenAIs karakteristiske tilgang til AI-forskning. Selvom laboratoriet også har investeret i at udvikle nye teknikker i forhold til andre laboratorier, har det primært skabt sig et navn ved dramatisk at skalere eksisterende. GPT-2, laboratoriets berygtede sprogmodel, for eksempel stærkt lånt algoritmisk design fra tidligere sprogmodeller, bl.a. Googles BERT ; OpenAIs primære innovation var en bedrift af ingeniørkunst og ekspansive beregningsressourcer.

På en måde bekræfter denne undersøgelse værdien af ​​at teste grænserne for eksisterende teknologier i stor skala. Holdet planlægger også at fortsætte med denne strategi. Forskerne siger, at den første runde af eksperimenter ikke var tæt på at nå grænserne for de beregningsressourcer, de kunne kaste på problemet.

Vi vil have folk til at forestille sig, hvad der ville ske, hvis man fremkaldte denne form for konkurrence i et meget mere komplekst miljø, siger Baker. Den adfærd, de lærer, kan faktisk i sidste ende løse nogle problemer, som vi måske ikke allerede ved, hvordan vi skal løse.

Rettelse: Den originale overskrift angivede forkert antallet af spil, agenterne spillede.

skjule