Software, der udskifter ord, kan nu narre AI'en bag Alexa og Siri

Kategori: Kunstig intelligens Udsendt 07 feb

Nyhederne: Software kaldet TextFooler kan narre NLP-systemer (natursprogbehandling) til at misforstå tekst blot ved at erstatte bestemte ord i en sætning med synonymer. I test var det i stand til at falde nøjagtigheden af ​​tre state-of-the-art NLP-systemer dramatisk. For eksempel var Googles kraftfulde BERT neurale net dårligere med en faktor på fem til syv til at identificere, om anmeldelser på Yelp var positive eller negative.

De testede angrebet på NLP-systemer, der er trænet til at udføre opgaver såsom at identificere nyhedsemner, opdage falske nyheder og analysere følelser. I alle tilfælde er AI blev væsentligt værre .

Hvordan det virker: Softwaren, der er udviklet af et team på MIT, leder efter de ord i en sætning, der er vigtigst for en NLP-klassifikator og erstatter dem med et synonym, som et menneske ville finde naturligt. For eksempel at ændre sætningen Karaktererne, der er castet i umuligt konstruerede situationer, er totalt fremmedgjort fra virkeligheden til Karaktererne, castet under umuligt konstruerede omstændigheder, er fuldstændig fremmedgjort fra virkeligheden, gør ingen reel forskel for, hvordan vi læser den. Men justeringerne fik en AI til at fortolke sætningerne helt anderledes.

Hvorfor det er vigtigt: Vi har set mange eksempler på sådanne modstridende angreb, oftest med billedgenkendelsessystemer, hvor små ændringer af input kan flummoxe en AI og få den til at misklassificere, hvad den ser. TextFooler viser, at denne angrebsstil også bryder NLP, AI'en bag virtuelle assistenter – såsom Siri, Alexa og Google Home – såvel som andre sprogklassificeringssystemer som spamfiltre og hadetale-detektorer. Forskerne siger, at værktøjer som TextFooler kan hjælpe med at gøre NLP-systemer mere robuste ved at afsløre deres svagheder.