Hvad AI skal lære for at mestre fremmedkrigsførelse

Spillere spiller StarCraft på Gamescom i Köln, Tyskland, i 2015.

For at lære, hvordan mennesker og AI-systemer bedst kan leve sammen, skal vi muligvis dræbe en hel masse Zerg.

DeepMind, den AI-fokuserede enhed i Alphabet, og spilfirmaet Blizzard Entertainment udgiver et sæt værktøjer, som vil lade programmører frigøre alle mulige AI-algoritmer inde i rum-tema-spillet StarCraft.

Spillet er mere udfordrende end de fleste af dem, der hidtil er tacklet af AI-programmer. StarCraft er ikke kun ekstremt komplekst, det kræver også planlægning langt frem og forsøg på at gætte, hvad din modstander har gang i. Det betyder, at udvikling af AI-programmer, der er i stand til at matche mennesker, burde hjælpe forskere med at udforske nye facetter af menneskelig intelligens med maskiner. En anden potentiel fordel, ifølge de involverede, vil være at udforske måder, hvorpå mennesker og kunstige midler kan spille sammen.

StarCraft er interessant af mange grunde, siger Oriol Vinyals , DeepMind-forskeren, der leder projektet. Det faktum, at spillere ofte kun får et glimt af deres modstanderes aktiviteter, betyder for eksempel, at algoritmer bliver nødt til at udvikle bedre måder at gemme information i hukommelsen. Hukommelsen er kritisk, siger Vinyals. Det, du ser nu, er ikke det, du så for et stykke tid siden, og noget specifikt, der kunne være sket for et minut siden, kan få dig til at handle anderledes.

DeepMind har opbygget et imponerende ry på at bygge AI-programmer, der er i stand til at spille forskellige typer spil med overmenneskelige færdigheder. Virksomheden begyndte med at erobre forskellige Atari-spil, og for nylig tog det fat på det ekstremt komplekse og abstrakte brætspil Go (se DeepMinds AI Masters the Game of Go et årti tidligere end forventet).

For at mestre disse spil brugte DeepMinds forskere en maskinlæringsteknik kaldet forstærkningslæring. Maskinlæring lader en computer finde ud af, hvordan man gør noget for sig selv, uden at kræve eksplicitte instruktioner. Forstærkningslæring, som er inspireret af den måde, dyr synes at lære, muliggør læring gennem eksperimentering med positiv feedback (se 10 Breakthrough Technologies 2017: Reinforcement Learning). Vinyals siger dog, at det vil være vanskeligere at anvende forstærkningslæring på StarCraft, fordi det tager så lang tid for hvert spil at udfolde sig. En handling, jeg foretager mig nu, får først en konsekvens meget senere, siger han.

Inden for StarCraft konkurrerer spillere som en af ​​tre racer: den menneskelignende Terrans, cyborg Protoss eller insektoiden Zerg. Kampe involverer komplekse strategiske handlinger som mineressourcer og konstruktion af baser, såvel som langvarige kampsekvenser. StarCraft er også den mest populære e-sport for tilskuere, og især i Sydkorea spilles turneringer ofte på massive stadioner og vises live på tv. Fremtrædende spillere har hilst udsigten til at matche op mod AI-programmer velkommen, men DeepMind har endnu ikke sagt, hvornår dette kan ske (se StarCraft Pros Are Ready to Battle AI).

Værktøjerne udviklet af DeepMind og Blizzard vil gøre det meget nemmere for AI-forskere at implementere og teste maskinlæringsalgoritmer inde i StarCraft. Værktøjerne vil give AI-agenter det samme syn på spillet og grænsefladen, som menneskelige spillere har. De gør det også muligt at begrænse den hastighed, hvormed et program kan udføre sine handlinger. Dette kan sikre, at et program skal stole på de samme intellektuelle værktøjer, som en person gør.

StarCraft har været brugt som forskningsplatform i nogen tid, men det har været relativt udfordrende at udnytte. Vinyals, en ekspert StarCraft-spiller selv, lavede banebrydende arbejde med at bygge bots til StarCraft som studerende ved University of California, Berkeley (se 35 Innovators Under 35, 2016: Oriol Vinyals ). Hold kl Facebook og det kinesiske selskab Alibaba har også udgivet StarCraft-forskning. DeepMind udgiver et papir på en større maskinlæringskonference i denne uge, der viser, hvordan eksisterende algoritmer klarer sig med spillet.

Det er dog muligt, at det kan være nødvendigt med ganske forskellige tilgange for at mestre et spil som StarCraft. Nogle andre forskere har fundet succes ved at bruge tilgange taget fra spilteorien til at gøre fremskridt i andre spil med ufuldkommen information, og hvor bluffing er vigtigt. Tidligere på året byggede Tuomas Sandholm, professor ved Carnegie Mellon University, og en af ​​hans studerende, Noam Brown, et program kaldet Libratus, der slog adskillige professionelle spillere heads up, eller to-spiller, no-limit Texas hold' em. Libratus brugte en meget sofistikeret algoritme til at beregne den optimale strategi gennem et spil (se Hvorfor poker er en stor opgave for kunstig intelligens). Og tilfældigvis har Brown været i praktik hos DeepMind denne sommer.

Relateret historie

Relateret historie At spille poker involverer at håndtere ufuldkommen information, hvilket gør spillet meget komplekst og mere som mange situationer i den virkelige verden.

Jacob Repp, en principingeniør hos Blizzard, siger, at hans firma er interesseret i at se, om sofistikerede AI-agenter kunne gøre spillet mere interessant, enten ved at spille mod folk eller samarbejde med dem. Det er allerede muligt at oprette agenter i spillet, der følger scriptede kommandoer. Repp siger, at det ville være interessant at få disse agenter til at bruge maskinlæring til en vis grad også. Og han siger, at virksomheden udforsker den slags ideer. Vi oplever, at disse værktøjer er meget nyttige til processen med at lave spil og designe funktioner i spil, siger han.

skjule