211service.com
Hvordan ondsindet maskinlæring kunne afspore AI
Jeremy Portje
Kunstig intelligens vil ikke revolutionere noget, hvis hackere kan rode med det.
Det er advarslen fra Dawn sang , en professor ved UC Berkeley, som har specialiseret sig i at studere sikkerhedsrisici forbundet med kunstig intelligens og maskinlæring.
Da Song talte ved EmTech Digital, en begivenhed i San Francisco produceret af MIT Technology Review, advarede Song om, at nye teknikker til at sondere og manipulere maskinlæringssystemer - kendt på området som modstridende maskinlæringsmetoder - kunne forårsage store problemer for alle, der ønsker at udnytte kraften i AI i erhvervslivet.
Song sagde, at modstandsdygtig maskinlæring kunne bruges til at angribe stort set ethvert system bygget på teknologien.
Det er et stort problem, sagde hun til publikum. Vi er nødt til at gå sammen for at ordne det.
Modstridende maskinlæring involverer eksperimentelt at indlæse input i en algoritme for at afsløre den information, den er blevet trænet i, eller at forvrænge input på en måde, der får systemet til at opføre sig forkert. Ved at indtaste masser af billeder i en computervisionsalgoritme, for eksempel, er det muligt at ændre dens funktion og sikre visse former for output, inklusive forkerte.
Song præsenterede flere eksempler på modstridende læringstricks, som hendes forskningsgruppe har udforsket.
Et projekt, udført i samarbejde med Google, involverede sondering af maskinlæringsalgoritmer trænet til at generere automatiske svar fra e-mail-beskeder (i dette tilfælde Enron e-mail datasæt ). Indsatsen viste, at det ved at skabe de rigtige beskeder er muligt at få maskinmodellen til at spytte følsomme data som kreditkortnumre ud. Resultaterne blev brugt af Google til at forhindre Smart Compose, værktøjet, der automatisk genererer tekst i Gmail, i at blive udnyttet.
Et andet projekt involverede ændring af vejskilte med et par ufarligt udseende klistermærker for at narre de computersynssystemer, der bruges i mange køretøjer. I en videodemo viste Song, hvordan bilen kunne narre til at tro, at et stopskilt faktisk siger, at hastighedsgrænsen er 45 miles i timen. Dette kan være et stort problem for et automatiseret køresystem, der er afhængig af sådanne oplysninger.
Modstridende maskinlæring er et område med stigende interesse for maskinlæringsforskere. I løbet af de sidste par år har andre forskningsgrupper vist, hvordan online maskinlærings-API'er kan undersøges og udnyttes til at udtænke måder at bedrage dem på eller til at afsløre følsomme oplysninger.
Ikke overraskende er modstandsdygtig maskinlæring også af stor interesse for forsvarssamfundet. Med et voksende antal militærsystemer – inklusive sanse- og våbensystemer – der udnytter maskinlæring, er der et enormt potentiale for, at disse teknikker kan bruges både defensivt og offensivt.
I år lancerede Pentagons forskningsarm, DARPA, et stort projekt kaldet Guaranteeing AI Robustness against Deception (GARD), med det formål at studere modstridende maskinlæring. Hava Siegelmann , direktør for GARD-programmet, fortalte for nylig MIT Technology Review, at målet med dette projekt var at udvikle AI-modeller, der er robuste over for en bred vifte af modstridende angreb, snarere end blot i stand til at forsvare sig mod specifikke.