Deep Learning skaber jordlignende terræn ved at studere NASA-satellitbilleder

Landskaberne i videospil og kunstige verdener kan genereres på to måder. Den første er at håndlave terrænet og befolke det med passende farver og teksturer såsom sten, græs, træer, sne og så videre. Dette giver resultater af høj kvalitet, men er dyrt på grund af det involverede menneskelige arbejde.

Den anden metode er at generere landskabet algoritmisk, en proces, der er meget hurtigere og billigere. Sådan kommer spillere i spillet Minecraft ind i et helt nyt landskab, hver gang de spiller.

Algoritmerne bag denne proces er veludviklede, og programmører har finjusteret dem gennem årene til at producere forskellige klimaer, teksturer, højdevariationer og så videre. Men nye landskabsgenererende algoritmer er i sig selv tidskrævende og dyre at skrive. Så en måde at automatisere deres oprettelse på ville være et betydeligt fremskridt.

I dag siger Christopher Beckham og Christopher Pal ved Montreal Institute of Learning Algorithms i Canada, at de har trænet en dyb-læringsmaskine til at generere realistiske landskaber ved hjælp af satellitbilleder af Jorden som træningssæt. Faktisk skriver maskinen sin egen algoritme. Værket lover at ændre den måde, kunstige landskaber kan skabes på, markant.

Systemet, som Beckham og Pal udnytter, kaldes et generativt modstandsnetværk. Den består af to deep learning-maskiner, der arbejder sammen for at tackle et problem, i dette tilfælde genererer realistisk terræn.

Den første maskine genererer nyt terræn, mens den anden evaluerer resultaterne og giver feedback. Den første maskine bruger så denne feedback til at producere endnu et sæt landskaber, som den anden maskine evaluerer med feedback og så videre. Tanken er, at den anden maskine lærer at producere landskaber, der matcher den feedback, den første maskine giver.

Det er klart, at en vigtig del af denne proces er at lære den første maskine, hvordan et ideelt landskab skal se ud. Denne type opgaver er blevet ligetil i maskinlæring, når der er en stor database med billeder at lære af - for eksempel i ansigtsgenkendelse eller objektgenkendelse. Men det er endnu ikke gjort for terrængenerering på denne måde.

Så Beckham og Pals første mål var at skabe en database med billeder til træning.

Det viser sig, at netop denne slags data er tilgængelige takket være NASAs Visible Earth-program, som har skabt et detaljeret kort over vores hjemmeplanet. Dette inkluderer data om højde, form og farve.

NASAs billeder er enorme: 21.600 pixels gange 10.800 pixels. De viser hele planeten, hvor hver pixel repræsenterer en kvadratkilometer på overfladen. Beckham og Pal tager et tilfældigt 512 x 512-pixel vindue og glider det hen over billederne for at skabe en stor database med billedeksempler til træning. De fjerner billeder, der stort set er sorte (dvs. som viser rent hav), så træningen ikke er for triviel. Teksturerne i samlingen kan svare til forskellige biomer såsom jungle, ørken og arktisk, siger de.

De bruger derefter dette datasæt til at træne en dyb-læringsmaskine til at genkende realistiske jordterræner af forskellige typer. Dernæst satte de en anden deep-learning-maskine op til at generere 512x512-pixel billeder tilfældigt. Den sender disse kort til den trænede maskine, som evaluerer dem og sender sin feedback.

I første omgang er de genererede landskaber selvfølgelig dårlige repræsentationer af jordens terræn. Men over mange iterationer lærer maskinen, hvordan man producerer landskaber, der modtager gode evalueringer. Og når den først har gjort dette, kan den konstant generere nye jordlignende terræner.

Men billederne er ikke perfekte. De kan indeholde artefakter fra læringsprocessen, som ikke er i overensstemmelse med den virkelige verden. Disse kunne forhindres med dybere læringskonfigurationer eller ved at sløre billederne, siger forskerne.

Der er klart mere arbejde at gøre, men parret ser ud til at være tilfredse med dette resultat. Vi har opnået et rimeligt første skridt mod proceduremæssig generering af terræn baseret på data fra den virkelige verden, siger de.

Det er interessant arbejde, der har en bred vifte af andre applikationer. Til at begynde med behøver træningsdatabasen ikke at være jordbaseret. NASA har detaljerede billeder af månen, Mars, Titan og forskellige andre steder i solsystemet, som kunne bruges til at træne lignende netværk. Så spil som Minecraft kunne nemt få en tydelig måne- eller marsfølelse med lidt menneskelig input.

Og træningsdatabasen behøver ikke engang at være terrænbaseret. Man kan forestille sig, at det samme skema anvendes til at syntetisere 3D-masker, som derefter tekstureres (f.eks. ansigter), siger Beckham og Pal.

Det er noget, der kunne være interessant for en bred vifte af spilproducenter og andre. Disse former for muligheder tjener ikke kun til at fremme rigere underholdningsoplevelser, men til at give nyttige værktøjer til at hjælpe indholdsproducenter (f.eks. 3D-kunstnere) i deres arbejde, siger Beckham og Pal.

Ref: arxiv.org/abs/1707.03383 : Et skridt mod proceduremæssig terrængenerering med GAN'er

skjule