Machine Visions akilleshæl afsløret af Google Brain Researchers

Et af de mest spektakulære fremskridt i moderne videnskab har været fremkomsten af ​​maskinsyn. På få år har en ny generation af maskinlæringsteknikker ændret den måde, computere ser på.

Maskiner udkonkurrerer nu mennesker inden for ansigtsgenkendelse og objektgenkendelse og er i gang med at revolutionere adskillige synsbaserede opgaver såsom kørsel, sikkerhedsovervågning og så videre. Maskinsyn er nu overmenneskeligt.

Men et problem er ved at dukke op. Maskinsynsforskere er begyndt at bemærke nogle bekymrende mangler ved deres nye ladninger. Det viser sig, at maskinsynsalgoritmer har en akilleshæl, der giver dem mulighed for at blive narret af billeder, der er ændret på måder, som ville være trivielle for et menneske at få øje på.

Disse modificerede billeder kaldes modstridende billeder, og de er en væsentlig trussel. Et modstridende eksempel for ansigtsgenkendelsesdomænet kan bestå af meget subtile markeringer påført en persons ansigt, så en menneskelig observatør ville genkende deres identitet korrekt, men et maskinlæringssystem ville genkende dem som værende en anden person, siger Alexey Kurakin og Samy Bengio hos Google Brain og Ian Goodfellow fra OpenAI, en nonprofit AI-forskningsvirksomhed.

Fordi machine vision-systemer er så nye, er lidt kendt om modstridende billeder. Ingen forstår, hvordan man bedst skaber dem, hvordan de narrer maskinsynssystemer, eller hvordan man beskytter mod denne form for angreb.

I dag begynder det at ændre sig takket være arbejdet fra Kurakin og co, som for første gang er begyndt at studere modstandsbilleder systematisk. Deres arbejde viser, hvor sårbare maskinsynssystemer er over for denne form for angreb.

Holdet starter med en standarddatabase for maskinsynsforskning, kendt som ImageNet. Dette er en database med billeder klassificeret efter, hvad de viser. En standardtest er at træne en maskinsynsalgoritme på en del af denne database og derefter teste, hvor godt den klassificerer en anden del af databasen.

Ydeevnen i disse tests måles ved at tælle, hvor ofte algoritmen har den korrekte klassificering i sine top 5-svar eller endda sine top 1-svar (dens såkaldte top 5-nøjagtighed eller top 1-nøjagtighed) eller hvor ofte den ikke har den korrekte svar i sin top 5 eller top 1 (dens top 5 fejlrate eller top 1 fejlrate).

Et af de bedste machine vision-systemer er Googles Inception v3-algoritme, som har en top 5 fejlrate på 3,46 procent. Mennesker, der laver den samme test, har en top 5 fejlrate på omkring 5 procent, så Inception v3 har virkelig overmenneskelige evner.

Kurakin og co skabte en database med modstridende billeder ved at ændre 50.000 billeder fra ImageNet på tre forskellige måder. Deres metoder udnytter ideen om, at neurale netværk behandler information for at matche et billede med en bestemt klassifikation. Mængden af ​​information, dette kræver, kaldet krydsentropien, er et mål for, hvor svær matchningsopgaven er.

Deres første algoritme laver en lille ændring af et billede på en måde, der forsøger at maksimere denne krydsentropi. Deres anden algoritme gentager simpelthen denne proces for yderligere at ændre billedet.

Disse algoritmer ændrer begge billedet på en måde, der gør det sværere at klassificere korrekt. Disse metoder kan resultere i uinteressante fejlklassificeringer, såsom at forveksle en race af slædehunde med en anden race af slædehunde, siger de.

Deres endelige algoritme har en meget smartere tilgang. Dette modificerer et billede på en måde, der dirigerer maskinsynssystemet til at fejlklassificere det på en bestemt måde, helst en, der mindst ligner den sande klasse. Den mindst sandsynlige klasse er normalt meget forskellig fra den sande klasse, så denne angrebsmetode resulterer i mere interessante fejl, såsom at forveksle en hund med et fly, siger Kurakin og co.

De tester derefter, hvor godt Googles Inception v3-algoritme kan klassificere de 50.000 modstridende billeder.

De to simple algoritmer reducerer top 5 og top 1 nøjagtigheden markant. Men deres mest kraftfulde algoritme – den mindst sandsynlige klassemetode – reducerer hurtigt nøjagtigheden til nul for alle 50.000 billeder. (Teamet siger ikke, hvor vellykket algoritmen er til at dirigere fejlklassificeringer.)

Det tyder på, at modstandsbilleder er en væsentlig trussel, men der er en potentiel svaghed i denne tilgang. Alle disse modstridende billeder føres direkte ind i maskinsynssystemet.

Men i den virkelige verden vil et billede altid blive modificeret af kamerasystemet, der optager billederne. Og en modstridende billedalgoritme ville være ubrugelig, hvis denne proces neutraliserede dens effekt. Så et vigtigt spørgsmål er, hvor robuste disse algoritmer er over for de transformationer, der finder sted i den virkelige verden.

For at teste dette udskriver Kurakin og co alle de modstridende billeder sammen med originalerne og fotograferer dem i hånden med en Nexus 5-smartphone. De føder derefter disse transformerede modstridende billeder ind i maskinens vision-system.

Kurakin og co siger, at den mindst sandsynlige klassemetode er den mest sårbare over for denne form for transformationer, men at de andre holder sig rimeligt godt. Med andre ord er modstridende billedalgoritmer virkelig en trussel i den virkelige verden. En betydelig brøkdel af modstridende billeder, der er lavet ved hjælp af det originale netværk, er fejlklassificeret, selv når de sendes til klassificereren gennem kameraet, siger teamet.

Det er interessant arbejde, der kaster et vigtigt lys på machine visions akilleshæl. Og der er masser af arbejde forude. Kurakin og co ønsker at udvikle modstridende billeder til andre slags synssystemer og gøre dem endnu mere effektive.

Alt dette vil hæve nogle øjenbryn i computersikkerhedssamfundet. Maskinsynssystemer er nu bedre end mennesker til at genkende ansigter, så det er naturligt at forvente, at de er vant til alt fra oplåsning af smartphones og hoveddøre til paskontrol og bankkontobiometri. Men Kurakin og co rejser muligheden for at narre disse systemer med lethed.

I de sidste par år har vi lært meget om, hvor gode maskinsynssystemer kan være. Nu er vi bare ved at finde ud af, hvor let de kan snydes.

Ref: arxiv.org/abs/1607.02533 : Modstridende eksempler i den fysiske verden

skjule