211service.com
Forstærkningslærende AI'er er sårbare over for en ny form for angreb
MIT TEKNOLOGIANMELDELSE / ADAM GLEAVE
Fodboldrobotten stiller op for at tage et skud mod målet. Men i stedet for at gøre sig klar til at blokere den, falder målmanden til jorden og vrikker med benene. Forvirret laver angriberen en underlig lille sidedans, stamper med fødderne og vifter med den ene arm og falder så om. 1-0 til målmanden.
Det er ikke en taktik, du vil se brugt af de professionelle, men den viser, at en kunstig intelligens trænet via dyb forstærkningslæring - teknikken bag banebrydende spil-AI'er som AlphaZero og OpenAI Five - er mere sårbar over for angreb end tidligere tanke. Og det kan få alvorlige konsekvenser.
Adam Gleave
I de sidste par år har forskere fundet mange måder at bryde AI'er trænet ved hjælp af mærkede data, kendt som overvåget læring. Små justeringer af en AI's input - såsom at ændre nogle få pixels i et billede - kan fuldstændig flummox det, hvilket gør det identificere et billede af et dovendyr som en racerbil, for eksempel. Disse såkaldte modstridende angreb har ingen sikker løsning.
Sammenlignet med superviseret læring er forstærkningslæring en relativt ny teknik og er blevet undersøgt mindre. Men det viser sig, at det også er sårbart over for bearbejdede input. Forstærkende læring lærer en kunstig intelligens at opføre sig i forskellige situationer ved at give den belønning for at gøre det rigtige. Til sidst lærer AI en handlingsplan, kendt som en politik. Politikker tillader AI'er at spille spil, køre bil eller køre automatiserede handelssystemer.
I 2017 kiggede Sandy Huang, som nu er hos DeepMind, og hendes kolleger på en AI, der er trænet via forstærkning, og lærte at spille det klassiske videospil Pong. Det viste de tilføjelse af en enkelt useriøs pixel til frames af videoinput ville pålideligt få den til at tabe . Nu har Adam Gleave ved University of California, Berkeley, taget modstridende angreb til et andet niveau.
Gleave er ikke så bekymret over de fleste af de eksempler, vi har set indtil videre. Jeg er lidt skeptisk over for, at de er en trussel, siger han. Ideen om, at en angriber vil bryde vores maskinlæringssystem ved at tilføje en lille mængde støj, virker ikke realistisk. Men i stedet for at narre en AI til at se noget, der ikke rigtig er der, kan du ændre, hvordan tingene omkring det fungerer. Med andre ord kan en AI, der er trænet ved hjælp af forstærkningslæring, blive narret af mærkelig adfærd. Gleave og hans kolleger kalder dette en kontradiktorisk politik. Det er en hidtil ukendt trusselsmodel, siger Gleave.
At miste kontrollen
På nogle måder er modstridende politikker mere bekymrende end angreb på overvågede læringsmodeller, fordi forstærkende læringspolitikker styrer en AI's overordnede adfærd. Hvis en førerløs bil fejlklassificerer input fra sit kamera, kan den f.eks. falde tilbage på andre sensorer. Men saboter bilens kontrolsystem - styret af en forstærkende læringsalgoritme - og det kan føre til katastrofe. Hvis politikker skulle implementeres uden at løse disse problemer, kan det være meget alvorligt, siger Gleave. Førerløse biler kan gå galt, hvis de bliver konfronteret med en fodgænger, der vinker med armene.
Gleave og hans kolleger brugte forstærkningslæring til at træne pindefigur-bots til at spille en håndfuld to-spiller-spil, herunder at sparke en bold mod et mål, løbe over en linje og sumobrydning. Bottene var opmærksomme på positionen og bevægelsen af deres lemmer og deres modstanderes.
Adam Gleave
De trænede derefter et andet sæt bots til at finde måder at udnytte den første på, og denne anden gruppe opdagede hurtigt modstridende politikker. Holdet fandt ud af, at modstanderne lærte at slå deres ofre pålideligt efter at have trænet i mindre end 3 % af tiden, det tog ofrene at lære at spille spillene i første omgang.
Modstanderne lærte at vinde ikke ved at blive bedre spillere, men ved at udføre handlinger, der brød deres modstanderes politik. I fodboldkampen og løbekampen rejser modstanderen sig nogle gange aldrig engang op. Dette får offeret til at kollapse i en forvredet bunke eller vride sig rundt i cirkler. Desuden klarede ofrene sig faktisk langt bedre, da de var maskerede og slet ikke kunne se deres modstander.
Forskningen, der skal præsenteres på den internationale konference om læringsrepræsentationer i Addis Abeba, Etiopien, i april, viser, at politikker, der virker robuste, kan skjule alvorlige fejl. I dyb forstærkende læring evaluerer vi ikke rigtigt politikker på en tilstrækkelig omfattende måde, siger Gleave. En overvåget læringsmodel, trænet til at klassificere billeder, f.eks. testes på et andet datasæt end det, den blev trænet i, for at sikre, at den ikke blot har husket en bestemt masse billeder. Men med forstærkningslæring trænes og testes modeller typisk i samme miljø. Det betyder, at du aldrig kan være sikker på, hvor godt modellen vil klare nye situationer.
Den gode nyhed er, at modstridende politikker kan være lettere at forsvare sig imod end andre modstridende angreb. Da Gleave finjusterede ofrene for at tage hensyn til deres modstanderes underlige opførsel, blev modstanderne tvunget til at prøve mere velkendte tricks, såsom at snuble deres modstandere. Det er stadig beskidt spil, men udnytter ikke en fejl i systemet. Når alt kommer til alt, gør menneskelige spillere det hele tiden.