Podcast: Hvordan spil lærer AI at lære selv

AI-spilhistorie

Fru Tech | Unsplash





Fra skak til Jeopardy til e-sport, AI slår i stigende grad mennesker i deres egne spil. Men det var aldrig det ultimative mål. I dette første afsnit af sæson tre af In Machines We Trust graver vi ind i det symbiotiske forhold mellem spil og AI. Vi møder de store spillere i rummet, og vi tager en tur i en arkade.

I denne episode møder vi:

  • Julian Togelius, lektor, Department of Computer Science and Engineering, New York University
  • Will Douglas-Heaven, seniorredaktør for AI, MIT Technology Review
  • David Silver, hovedforsker ved DeepMind, professor ved University College London.
  • David Fahri, ledende forsker, Open AI

For at lave denne episode talte vi også med Natasha Regan, aktuar hos RPC Tyche, Chess WIM og medforfatter af 'Game Changer'.

Lyde fra:

Credits:

Denne episode blev rapporteret af Jennifer Strong og Will Douglas Heaven og produceret af Anthony Green, Emma Cillekens og Karen Hao. Vi er redigeret af Niall Firth, Michael Reilly og Mat Honan. Vores mix ingeniør er Garret Lang. Lyddesign og musik af Jacob Gorski.



Fuld udskrift:

[TR ID]

[SOT: Jeopardy annoncerer Watson Challenge]

Trebeck: I dag annoncerer vi en Jeopardy-konkurrence ulig noget, vi nogensinde har præsenteret før.



Jennifer: For ti år siden afslørede tv-quizprogrammet Jeopardy en ny spiller...

Trebeck: Det er en opvisningskamp med to af de største trusselspillere i historien... deres udfordrer? Nå, han hedder Watson.

Dokumentar-announcer: [musik] Watson er en IBM-computer designet til at spille Jeopardy. Watson forstår naturligt sprog med al dets tvetydighed og kompleksitet.



Jennifer: Og måske ikke overraskende... i betragtning af at det er Jeopardy at spille tingen det var designet til at gøre... Watson var god. Virkelig godt.

[SOT: Montage of Watson Jeopardy svarer.]

Trebek: Watson.



Watson: Hvad er istanbul.

Trebek: Du har ret.

Trebek: Watson.

Watson: Hvad er parlamentet.

Trebek: Ret.

Trebek: Watson.

Watson: Hvad er oldgræsk.

Trebek: Watson, tilbage til dig.

Jennifer: Efter tre nætter med dette, vandt Watson... og slog de to bedste spillere i spilshowets historie... Fra skak til Jeopardy til e-sport... AI slår mennesker i deres egne spil... (så at sige)... men det var aldrig det ultimative mål. Forskere forsøger at bygge intelligente systemer, der er mere nyttige og generelle formål end noget andet, vi har.

David Silver: Hvis den menneskelige hjerne kan løse alle mulige forskellige opgaver, kan vi så bygge programmer, der kan det samme?

Jennifer: Jeg er Jennifer Strong, og i denne episode graver vi ind i det symbiotiske forhold mellem spil og AI. For så længe der har været AI-forskning, har spil været en del af det. Vi møder de store spillere i rummet... og vi tager en tur i en arkade.

{Spillyde}

Karen Hao: På en måde har spil overhypet AI-kapaciteter en lille smule, fordi..

Jennifer: Det er min kollega Karen Hao...

Karen Hao: Mange mennesker tror nu, at AI er meget mere dygtig, end den faktisk er, men spil er faktisk en demonstration af utrolig snæver intelligens. Og vi er nu på en måde fanget i denne cyklus, hvor AI-forskning specifikt går ned ad denne vej med flere og mere avancerede spil uden faktisk at gå til flere og mere avancerede, komplekse situationer i den virkelige verden, miljøer ... hvilket er, hvad vi faktisk har brug for.

{Spillyde}

[VIS ID]

OC:...du har nået din destination.

Julian Togelius: Spil har været en del af AI, siden AI startede, eller lige siden selve ideen om AI startede.

Jennifer: Julian Togelius er professor og datalog, der bor i New York City...

Julian Togelius: Jeg arbejder på AI for at gøre spil bedre og også spil for at gøre AI bedre.

Jennifer: Han giver mig en historielektion om dette forhold mellem spil og AI... og på en eller anden måde formår han at gøre det, mens han også spiller et par videospil, som han har arbejdet med.

Julian Togelius: Jeg arbejder især med videospil og slags moderne videospil, fordi virkelig skak og Go og alt det der... Jeg mener, vi er sådan set færdige med det. Det er ligesom, jeg mener, [latter] for ikke at afskrække folk, der kan lide at spille skak og kan lide at spille Go eller poker for den mentale udfordring. Det er fint. Men du ved, der er så mange flere muligheder, så mange flere interessante udfordringer i de andre spil.

Jennifer: Hvordan kom du ind på dette felt?

Julian Togelius: Ja. Så da min mor gav mine katte væk, [latter] Det er sandt! Jeg mener, hun, hun blev allergisk, og hvad vil du så gøre? Så hun gav mig en computer før en Commodore 64, og jeg begyndte at spille alle disse spil, og jeg blev virkelig fascineret af disse små, små verdener. Og så blev jeg voksen... ja, mere eller mindre. [latter] Uh, jeg voksede op, jeg afsluttede gymnasiet. Jeg begyndte at læse filosofi og psykologi. Jeg var interesseret i, hvordan fungerer sindet? Hvad er forholdet mellem bevidsthed og intelligens, og hvordan opstår det hele?

Jennifer: Disse spørgsmål bragte ham til et tidligt papir af den banebrydende computerforsker Alan Turing... Han var den første til at bevise, at det endda var matematisk muligt at bygge en computer.

Julian Togelius: Det papir handler i høj grad om spil. Det handler om efterligningsspillet, det der nu kaldes en Turing-test, hvor man forsøger at fortælle, om en person, man chatter med i det væsentlige - det hed det ikke at chatte i halvtredserne - om en, man taler via sms med, er en computer eller et menneske. Det handler også om skak. Fordi skak meget tidligt blev et kernefokus for kunstig intelligensforskning.

Jennifer: Vi tænker på folk, der spiller skak, som havende et vist niveau af intelligens … og så spillet blev en måde at måle, hvor intelligente maskiner også er.

Og... sjovt faktum? Det allerførste skakspilprogram blev skrevet Før en computer eksisterede endda til at køre den. Turing spillede det i 1950 ... ved hjælp af en algoritme udarbejdet på papir.

(Det fungerede ikke særlig godt.)

Men folk fortsatte med at fremme denne forskning i årtier.

Og så, i 1997, slog I-B-M's Deep Blue-computer Garry Kasparov... den regerende verdensmester i skak.

[SOT] - Deep Blue slog Garry Kasparov i Game Six via YouTube

Kommentator 2: Mangler vi noget på skakbrættet nu, som Kasparov ser? Han ser ikke ud.. han ser faktisk væmmet ud.

Kommentator 1: Hov!

Kommentator 2: Dyb blå! Kasparov har efter flytningen C4 trukket sig!

[Bifald]

Julian Togelius: Og dette var en kæmpe intellektuel begivenhed, folk tænkte, okay, hvad nu? Har vi lige løst kunstig intelligens? Og det viser sig, at nej, det gjorde du ikke, fordi dette skakspilprogram ikke engang kunne spille dam uden væsentlig omprogrammering. Den kunne ikke spille Go. Den kunne ikke spille mange ting. Og endnu mere, den kunne ikke binde sine snørebånd. Den kunne ikke koge makaroni. Det kunne ikke skrive et kærlighedsdigt. Den kunne ikke gå ud og købe en avis. Det kunne ikke gøre nogen af ​​disse ting, som mennesker gør hele tiden. Det kunne virkelig bogstaveligt talt kun gøre én ting. Den kunne spille skak. Den var forbandet god til det, men den kunne egentlig kun spille skak.

Jennifer: Så mennesker havde løst, hvad man mente var den største udfordring med at skabe intelligens... men når man kiggede under programmets hætte... siger han, at det i bund og grund kun var en slags søgning.

Julian Togelius: Hvad hvis jeg tager dette skridt? Og hvad så hvis min modstander tager dette skridt, hvad så hvis jeg tager dette skridt? Så vi havde bygget et træ af muligheder og modmuligheder og beregnet ud fra det. Det var faktisk meget mere kompliceret end som så, men det er kernen i det, den lavede. Og folk så på det, som om det her ikke ligner noget, som vores hjerner fungerer. Jeg mener, vi ved ikke rigtig, hvordan vores hjerner fungerer, men hvad end de laver, er det ikke dette. [grine]

Jennifer: Men det bruges ikke KUN til at spille spil mod mennesker... AI dukker op i spil på alle mulige måder. Især for at gøre dem mere interessante og udfordrende.

For eksempel…. AI ændrer dele af videospil... så de er forskellige, hver gang vi spiller dem, og det har været tilfældet siden 19-80'erne.

Julian Togelius: Og dette princip om, som altid at skabe noget nyt... og hver gang du spiller spillet er det nyt... har overlevet i en masse forskellige spil. For eksempel er Diablo-serien af ​​spil baseret på det, eller Civilization-serien af ​​strategispil. Hver gang du spiller det, har du en helt ny verden, og det er kernen i spillet. Det ville bare ikke være det samme, hvis du ikke gjorde det.

Jennifer: En anden grund til at gøre dette er på grund af lagerplads... og han siger, at et spil kaldet Elite blev en vigtig milepæl... da det blev gjort tilgængeligt for personlige computere, inklusive Commodore 64.

Julian Togelius: Det kunne umuligt passe i hukommelsen i denne computer. Så en version havde 4.096 forskellige stjernesystemer. Hvis du nu kun havde 64.000 bytes hukommelse og forestiller dig, så tænk på, hvor lidt det er, det er en milliontedel af en computer, du kan købe i dag. Så de var nødt til at genskabe stjernesystemet, hver gang du kom dertil. Grundlæggende bygge det op fra bunden.

Jennifer: Og det er stadig tilfældet nu. Selvfølgelig har vi meget mere lagerplads. Men spil er også meget, meget større og mere komplekse.

Julian Togelius: Spillet No Man's Sky, som udkom i 2016, men de bliver ved med at opdatere det - det bliver ved med at blive mere og mere imponerende. Den har flere planeter i sig, end du nogensinde kunne besøge i et helt liv, men på en eller anden måde passer det hele ind i din computer, fordi de genskabes, hver gang du ser dem.

Jennifer: I mellemtiden har forskere også fortsat med at bygge spil-AI'er... og Togelius siger, en af ​​de næste udfordringer i det rum vil være for dem at spille mange spil på én gang... fordi multitasking er noget, mennesker gør godt... men det er endnu ikke tilfældet for disse systemer.

Så hvordan kommer vi fra disse meget strukturerede miljøer med masser af forudsigelighed... til noget tættere på det virkelige liv, som er rodet og kaotisk og slet ikke forudsigeligt.

Til ham og andre forskere...? Vi spiller flere spil.

Julian Togelius: Hvis vi havde et system, der pålideligt kunne spille, som med en vis færdighed, de bedste hundrede spil på en computerspils topliste, som Steam eller AppStore eller noget, så ville vi have noget, der ligner generel intelligens.

Jennifer: Så på nogle måder... er vi stadig lidt der, hvor vi var for et halvt århundrede siden... og tænker, at vi måske bare finder nøglen til generel intelligens med AI-systemer, der kan slå mennesker i deres eget spil.

[beat / musik]

Men vi blander også spil og kunstig intelligens på alle mulige andre måder ... gerne hjælpe os med træningsdata.

For et par år siden mødte jeg et hold i Princeton, der forsøgte at gøre stopskilte mere genkendelige for selvkørende biler … ved hjælp af spillet Grand Theft Auto.

Hvor mærkeligt det end kan lyde... det er faktisk ret praktisk, når man tænker på, hvor mange forskellige måder en chauffør kan støde på et stopskilt i den virkelige verden... det være sig på en pind i jorden... hængende i luften... eller malet på fortovet... og vi møder dem i al slags lys og vejr... nogle gange delvist skjult af trægrene... eller nattens mørke.

Forskere kunne gå på udkig efter eksempler på alle disse stopskilte ... eller videospil kan bare generere uendelige eksempler.

Vi bruger også spil til bedre at forstå, hvordan algoritmer træffer beslutninger.

[Begynd at bringe lyde fra Arcade ind. *Frogger-temamusik og gameplay begynder, skifte bevægelser*]

Jennifer: Vi er på en klassisk spillehal i Boston ... fordi den har flere af disse ældre videospil, der bruges til at træne AI-systemer.

Will Douglas-Heaven: Hej, jeg hedder Will Douglas-Heaven. Jeg er seniorredaktør for AI hos Technology Review... Og jeg kan ikke spille Frogger.

Will Douglas-Heaven: Frogger dukkede op for ganske nylig i nogle forskellige AI-forskning, hvor de forsøgte at få en AI til at forklare sig selv og forklare, som hvad den lavede. Øh, og de lærte... de trænede en AI til at spille dette spil, og du ved Frogger... Du kan høre fra støjen, jeg bliver ved med at fejle.

Så Frogger er dette spil, hvor du er en lille frø nede i bunden, og du skal krydse en vej, hvor biler bevæger sig på en måde hen over skærmen til venstre og højre, og du er nødt til at undvige mellem dem. Og så kommer du til en flod, og du hopper på ryggen af ​​skildpadder og træstammer for at komme til den anden side uden at falde i, som jeg gjorde der. Øh, i hvert fald, så er det, det er et spil, som har en masse konkrete handlinger, du tager ved hvert trin. Og så da de trænede AI'en til at gøre det, hver gang den tog en handling, fik de den til at forklare i, hm, en slags, du ved, menneskelige forståelige termer, hvorfor den gjorde det.

[*Spillyde fortsætter*]

Jennifer: Dybest set spiller AI spillet ... og over tid finder det ud af, hvordan man får succes. Tilfældige bevægelser udvikler sig til komplekse strategier … selv nogle, vi ikke kendte til.

[Fortsæt spil lyder under VO ovenfor og også i dette stykke lyd]

Will Douglas-Heaven: De kastede AI'erne mod disse gamle spil og viste dem bare skærmene, som de ikke anede, hvordan de skulle spille. Det var bare pixels på en skærm, der skete ting. De prøvede ting og nogle gange sprængte de i luften. Nogle gange skød de de fremmede skibe. Og ved kun at bruge slags belønninger fra du ved, når de gjorde noget. Og de gik fra at forstå, intet, til i mange tilfælde på en måde at slå de bedste menneskelige spilleres højeste score. Og endda nogle virkelig fede eksempler, hvor de faktisk fandt måder at slå spillet, som mennesker ikke havde opdaget.

Jennifer: Et eksempel på dette kommer fra et spil kaldet Q*Bert, som sætter spillere på en pyramide af firkanter.

Will Douglas-Heaven: Jeg mener, den grundlæggende idé er, at du har en lille fyr, der hopper ned af pyramiden fra toppen og lander på firkanterne. Og når du har ændret alle felterne til den samme farve, så kan du gå videre til næste niveau. Men AI'en, tror jeg på det første niveau, ændrede alle farverne på firkanterne og blev derefter ved med at hoppe op og ned i felterne i stedet for at gå videre til næste niveau. Og den fandt en fejl i spillet, der gjorde det muligt for det at få en uendelig score på virkelig kort tid. Og selv designerne af spillet var, som om jeg ikke har set den fejl før.

Jennifer: Efter pausen... vil vi møde nogle pionerer bag store gennembrud på dette felt. Men først vil jeg fortælle dig om en begivenhed kaldet CyberSecure i november. Det er Tech Reviews cybersikkerhedskonference, og jeg vil være der sammen med mine kolleger. Du kan lære mere på Cyber ​​Secure M-I-T dot com.

Vi er straks tilbage... efter dette.

[MIDROLL]

David Silver: Mit navn er David Silver. Jeg arbejder med kunstig intelligens, og jeg anvender det til spil. Jeg arbejder for en virksomhed, der hedder DeepMind, og vores mål er at prøve at bruge kunstig intelligens til at prøve at bygge et system, som har nogle af de smarte ting, der er inde i den menneskelige hjerne.

Jennifer: DeepMind er i centrum for dette arbejde med spil. Det er et forskningslaboratorium, der er en del af Googles alfabet.

David Silver: Hvis den menneskelige hjerne kan løse alle mulige forskellige opgaver, kan vi så bygge programmer, der kan det samme?

Jennifer: Han er den ledende forsker bag nogle af de bedst kendte AI-systemer, der har mestret, hvordan man spiller spil ... begyndende med brætspil, (inklusive det gamle kinesiske strategispil Go.)

David Silver: Vi udviklede et system kaldet AlphaGo, som var det første program, der kunne spille spillet Go på niveau med professionelle menneskelige topspillere. Og faktisk var den i stand til at slå verdensmesteren Lee Sedol.

David Silver: Og der er dette enorme rum af spil, hvoraf mange har disse smukke egenskaber, der tillader os virkelig bare at dykke ned og forstå, du ved, et stykke af verden isoleret uden at skulle håndtere al den enorme kompleksitet i den virkelige verden. alt på en gang.

Jennifer: AlphaGo lærte, hvordan man spiller brætspil baseret på, hvordan folk spiller.

Silvers næste system, AlphaZero, lærte at spille brætspil og videospil på en anden måde ... ved at lære reglerne for et spil og derefter spille sig selv igen og igen.

David Silver: Efter AlphaGo forsøgte vi at tage det næste skridt og lave noget endnu mere generelt, som var at kunne spille ikke kun ét spil, men mange spil ved hjælp af den samme teknologi. Og dette er et stort springbræt, fordi det virkelig forsøger at gøre en af ​​de ting, som vi som mennesker er i stand til at gøre, som er at løse mange problemer ved at bruge de samme slags maskiner indeni.

Jennifer: Det er en milepæl i at gøre kunstig intelligens til mere generelle formål... Men med et vigtigt forbehold. Algoritmen kan ikke lære at spille disse spil på én gang. Det er, som om det bygger sig separate hjerner til hvert spil. Så den skal skifte skakhjerne ud, før den spiller Go.

Det er sikkert at sige, at forskere stadig forsøger at finde ud af, hvordan man gør spil til en test for det virkelige liv. Fordi spil har regler, der kan defineres... og ingen kender rigtigt de regler, som verden fungerer efter.

David Silver: Verden er virkelig et rodet sted. Du ved, det har denne utrolig rige dynamik i gang, alle slags detaljer i den måde, objekter bevæger sig rundt på. Den måde, som de ting, vi ser, relaterer til de ting, vi rører ved. Der er bare denne utrolige rigdom og kompleksitet i den virkelige verden. Og vi kan umuligt håbe på at adressere det på den måde, som folk historisk set har grebet spil an. Så det, vi har brug for, er noget, der kan forstå verden for sig selv på en måde, der forstår mønstrene på en måde, som er nyttig for den at træffe beslutninger, der faktisk er meningsfulde i at hjælpe med at nå dens mål.

Jennifer: Hans seneste projekt hedder MuZero. Det udmærker sig ved lige så mange spil som AlphaZero... (samt en lang række videospil).

...men dette system finder ud af, hvordan man spiller uden at få nogen regler overhovedet.

David Silver: Så det blev egentlig bare sluppet løs. Den var i stand til at spille mod sig selv. Og det eneste, det fik i slutningen af ​​spillet, var et signal om at sige, Hej, du vandt eller Hej, du tabte. Og ud fra det signal var den i stand til at opbygge en forståelse for sig selv af spillets regler nok til, at den faktisk kunne forestille sig, hvad der ville ske i fremtiden. Og når den først havde denne evne til at forestille sig fremtiden, var det i stand til at søge og begynde at se fremad og begynde at tænke ind i fremtiden og sige, aha, nu forstår jeg, hvordan denne verden fungerer. Jeg kan begynde at forestille mig, hvad der ville ske, hvis jeg spillede dette træk eller tog denne handling. Og så det er virkelig et vigtigt skridt, som vi har brug for, og noget vi mener er meget vigtigt fremadrettet for AIs fremtid.

Jennifer: Han siger, at det ikke er ulig et spædbarn, der får fat i verden omkring det... opbygger problemløsning og kreative færdigheder over tid.

David Silver: Jeg tror, ​​vi allerede ser eksempler på, at vi inden for begrænsede domæner ser algoritmer, der i alle henseender er kreative. Jeg mener, hvad er kreativitet trods alt andet end, du ved, evnen til selv at opdage en ny idé. Og det tror jeg er essensen af ​​kreativitet. Essensen af ​​kreativitet er, hvad vores algoritmer gør, som er at opdage trin for trin noget nyt og lære gennem deres erfaring, at denne nye idé, som de har fundet på, faktisk er noget, der er kraftfuldt, og som hjælper det med at opnå sin mål. Så jeg tror, ​​at vi i fremtiden vil se mere og mere kreativitet i denne form. Vi vil se, du ved, maskiner, der er i stand til selv at opdage ideer, der hjælper dem med at nå mål. Ikke fordi en person har fortalt dem, at det er det, du skal bruge for at nå det mål, men fordi de selv fandt ud af det.

Jennifer: Og .. den kreativitet har fået AlphaZero til at opdage nye ting om, hvordan man spiller skak. Nu…. menneskelige spillere bruger det faktisk i deres egne spil ... kalder det .. 'spiller et alpha nul-træk'.

[SOT: hvordan man spiller som AlphaZero]

Vært: Velkommen til en anden udgave af How to Attack lLike AlphaZero! Jeg håber du er klar til dagens lektion...

Jennifer: Det sker også med e-sport... som er videospilkonkurrencer, der ofte spilles foran et livepublikum... ligner en sportsbegivenhed... Med et verdensomspændende publikum på næsten en halv milliard seere, der tuner ind for at se deres yndlingsspil spillet af nogle af de bedste spillere i verden.

Også her bliver AI brugt på en masse måder ... som coachingværktøjer til at hjælpe folk med at blive bedre til at spille ... og (igen) sigter forskere også efter at bruge e-sport til at gøre deres AI-systemer mere intelligente ...

David Farhi: Vi forestiller os, at der på et tidspunkt vil være generelle kunstig intelligens-systemer, som virkelig kan løse problemer hurtigt, måske kan lære på menneskers niveau.

Jennifer: David Farhi er en ledende forsker ved Open AI... Forskningslaboratoriet grundlagt af Elon Musk og en masse andre Silicon Valley-armaturer.

Det skabte det første system til at slå verdensmestre i et e-sportsspil.

Det spil hedder Defense of the Ancients 2, som alle kalder Dota 2... og der er en ny dokumentar om denne sejr... kaldet Artificial Gamer.

[Klip fra Artificial Gamer-trailer]

[Dramatisk musik og lyde fra Dota 2 gameplay]

Højttaler 1: Når du ser på spillet Dota, er der 10.000 plus variabler i hvert øjeblik, som dit system skal tage ind.

Højttaler 2: AI'en lærer på en meget anderledes måde end mennesker.

Højttaler 3: Den spiller mod kopier af sig selv. Mange, mange gange i skyen..

Jennifer: Fahri overvågede Dota 2-projektet, kaldet Open AI Five... og han demonstrerede, hvordan det fungerer på Tech Review's AI-konference, EmTech Digital...

[Sounds of Dota 2 gameplay via Youtube. [00:03 - 00:15] Fade ind, og læg derefter ind under følgende Farhi-valg. *Sværdkampe, fodtrin og dramatisk kampmusik.*]

David Farhi: I øverste højre hjørne af denne skærm. Vi ser en meget stor, zoomet ud, visning af hele Dotas verden. I nederste venstre hjørne er der et holds base. I øverste højre hjørne er et andet holds base. Hvert hold forsøger at flytte rundt på deres karakterer, kaste trylleformularer med deres karakterer, angribe fjenderne og så videre for i sidste ende at invadere og ødelægge det andet holds base.

David Farhi: Disse mere komplicerede systemer som robotteknologi og videospil har en anden følelse, fordi du får en observation af spillets tilstand, og derefter vælger du en handling, du vil tage. Og så ændres spillets tilstand på en eller anden måde, afhængigt af den handling, du tog. Og så har du fået en ny observation, og du kan vælge en ny handling, og denne løkke sker igen og igen og igen. Og så er du nødt til at træffe beslutninger, der har langsigtede konsekvenser hen ad vejen. Så måden vi gør dette på er relativt enkel. Begrebsmæssigt i hvert fald. Vi har agenter, der starter med at spille helt tilfældigt. Og vi skal bare spille dem mod dem selv, en klon af dem selv igen og igen og igen.

Jennifer: Og hvis du tænker, at det kan tage rigtig lang tid med et så kompliceret spil? Du tager ikke fejl ... men Open AI's evne til at køre det på 200.000 maskiner på én gang ... hjælper.

Dybest set ... er det i stand til at få omkring 250 års erfaring om dagen.

Og hvis systemet gør noget, der virker ... det opdateres til at gøre den ting mere ... og hvis der sker noget slemt, som ikke virker, gør det den ting mindre.

David Farhi: Vi startede med en begrænset version af spillet. Vi var til sidst i stand til at slå vores udviklerteam, hvilket var meget sjovt. Og så tilføjede vi flere dele af spillet. Vi gik tilbage og trænede længere. Og vi var i stand til at slå nogle amatører og derefter nogle semi-professionelle mennesker. Til sidst besluttede vi at tage til en stor turnering, som dette spil har..

[Lyde fra The International 3 (Dota-turnering) via YouTube. *Mængden jubler, sportskommentatorer, der råber begejstret, Dota-gameplay.*]

Sportscaster: Det kan være deres sidste standpunkt. [uhørligt]

Sportscaster: Han vil prøve at fokusere alle, men der er så mange ting.

Sportscaster: Der er ikke flere tilgængelige klip. Ned til omkring halv HP.

Sportscaster: En kvart HK. En løve omgiver fra alle sider! EKB! Sportscaster: De vandt runden! De vil gøre det!

Sportscaster: Nordens konger! Alliance vinder! De vinder TI 3.

Sportscaster: Alliancen har lige vundet 1,4 millioner dollars!

Sportscaster: De er dine internationale 3 mestre!

David Farhi: Så dette spil har millioner af menneskelige brugere, der konkurrerer i disse turneringer om store præmier, hvilket sikrer, at vi ved, at der er mennesker, der spiller på et meget, meget højt niveau af færdigheder. I august 2018 tog vi vores agent med til denne turnering.

Jennifer: Deres AI spillede mod to professionelle hold, der allerede var blevet elimineret fra turneringen... og tabte knebent. Men året efter, med mere træning, kunne AI'en slå de tidligere verdensmestre med 2-0.

David Farhi: Så OpenAI Five er trænet uden mennesker i træningsprocessen, så det spiller bare mod sig selv i disse cloud-servere igen og igen og igen og igen. Og når vi så vil spille det mod et menneske, tager vi et øjebliksbillede ud af skyen og spiller det mod mennesket, men vi fører aldrig disse data tilbage til træningsprocessen.

[Musik]

Jennifer: Men der er stadig spørgsmålet om, hvorvidt spil kan hjælpe os med at træne AI til at være mere nyttige.

Lige nu har vi systemer, der er ekstremt gode til én ting. Men vi har endnu ikke modeller, der kan mange ting på én gang.

Endnu en gang, min kollega Will Douglas Heaven.

Will Douglas-Heaven: Tricket bliver, jeg tror, ​​at man går tilbage fra at bygge AI'er, der udmærker sig ved specifikke strategier eller teknikker, eller som har en genial løsning til denne særlige regel eller bevægelse, du ved, den slags ting, vi har set i disse AI'er, der kan lære at spille spil.

Jennifer: For virkelig at forstå den næste fase af denne forskning... Det kan måske være nyttigt at tænke over, hvordan børn leger på en legeplads.

Will Douglas-Heaven: De spiller ikke et spil, der har nogen form for faste regler. Jeg mener, de kan finde på dem efterhånden, men du ved, de udforsker bare, prøver ting og på en meget naturlig og åben måde. Og der er ikke noget bestemt mål, de arbejder hen imod. Og jeg tror, ​​det er denne form for teknik, som stadig er en slags leg, som vi kommer til at se, du ved, virkelig skubbe tingene fremad, når vi taler om generel intelligens. Deepmind udgav for eksempel for et par måneder siden en virtuel legeplads. Det er lidt ligesom en videospilverden kaldet X Land. Og det er befolket af en flok små bots. Og det smarte her er, at selve X Land er styret af en AI eller en slags spilmester, der omarrangerer miljøet, omarrangerer forhindringerne og blokkene og de bolde, som de små bots kommer til at lege med, og som også kommer op med forskellige regler i farten. Så simple spil som tag eller gemmeleg, og bots skal bare finde ud af, du ved, hvordan man spiller dem. Du ved, hvilke objekter i den virtuelle verden der vil hjælpe dem med at gøre det. Og de lærer generelle færdigheder som at udforske, bare prøve ting. Og jeg tror, ​​at denne form for åben udforskning bliver nøglen til den næste generation af kunstig intelligens. Og det er lidt spændende, at den [00:09:00] næste bølge af AI, AI'erne, der vil være gode til flere ting, [00:09:03] Vi // kan stadig nå derhen gennem spil igen. Så spil kommer ingen vegne. Spil har været med AI siden begyndelsen. Og du ved, det er rart at se, at leg stadig er den bedste måde at lære på.

[KREDITTER]

Jennifer: Denne episode blev rapporteret af mig og Will Douglas-Heaven... og produceret af Anthony Green, Emma Cillekens og Karen Hao. Vi er redigeret af Niall Firth, Michael Reilly og Mat Honan. Vores mix engineer er Garret Lang... med lyddesign og musik af Jacob Gorski.

Tak fordi du lyttede, jeg er Jennifer Strong.
[TR ID]

skjule