Hvorfor bede en AI om at forklare sig selv kan gøre tingene værre

Frogger er ved at tale MS Tech / Getty

Upol Ehsan tog engang en prøvetur i en selvkørende Uber-bil. I stedet for at bekymre sig om det tomme førersæde, blev ængstelige passagerer opfordret til at se en sutteskærm, der viste en bils blik af vejen: farer udvalgt i orange og røde, sikre zoner i køligt blåt.

Til Ehsan , der studerer den måde, mennesker interagerer med AI på Georgia Institute of Technology i Atlanta, var den tilsigtede besked klar: Bliv ikke skræmt - det er derfor, bilen gør, hvad den gør. Men noget ved det alien-lignende gadebillede fremhævede det mærkelige ved oplevelsen snarere end beroligede. Det fik Ehsan til at tænke: hvad nu hvis den selvkørende bil virkelig kunne forklare sig selv?

Succesen med dyb læring skyldes manipulation: De bedste neurale netværk finpudses og tilpasses til at skabe bedre, og praktiske resultater har overgået teoretisk forståelse. Som følge heraf er detaljerne om, hvordan en trænet model fungerer, typisk ukendte. Vi er kommet til at tænke på dem som sorte kasser.

Meget af tiden er vi okay med det, når det kommer til ting som at spille Go eller oversætte tekst eller vælge det næste Netflix-show, der skal satse på. Men hvis AI skal bruges til at hjælpe med at træffe beslutninger inden for retshåndhævelse, medicinsk diagnose og førerløse biler, så skal vi forstå, hvordan den når disse beslutninger – og vide, hvornår de er forkerte.

Folk har brug for magten til at være uenige i eller afvise en automatiseret beslutning, siger Iris Howley , en datalog ved Williams College i Williamstown, Massachusetts. Uden dette vil folk skubbe tilbage mod teknologien. Du kan se det udspille sig lige nu med den offentlige reaktion på ansigtsgenkendelsessystemer, siger hun.

Ehsan er en del af en lille, men voksende gruppe af forskere, der forsøger at gøre AI'er bedre til at forklare sig selv, for at hjælpe os med at se ind i den sorte boks. Formålet med såkaldt fortolkbar eller forklarbar AI (XAI) er at hjælpe folk med at forstå, hvilke funktioner i data et neuralt netværk faktisk lærer - og dermed om den resulterende model er nøjagtig og upartisk.

En løsning er at bygge maskinlæringssystemer, der viser deres funktion: såkaldt glassbox-i modsætning til black-box-AI. Glassbox-modeller er typisk meget forenklede versioner af et neuralt netværk, hvor det er nemmere at spore, hvordan forskellige stykker data påvirker modellen.

Der er mennesker i samfundet, der går ind for brugen af ​​glassbox-modeller i enhver situation med høj indsats, siger Jennifer Wortman Vaughan , en datalog hos Microsoft Research. Jeg er stort set enig. Simple glassbox-modeller kan fungere såvel som mere komplicerede neurale netværk på visse typer af strukturerede data, såsom statistiktabeller. For nogle applikationer er det alt, du behøver.

Men det afhænger af domænet. Hvis vi ønsker at lære af rodet data som billeder eller tekst, sidder vi fast i dybe – og dermed uigennemsigtige – neurale netværk. Disse netværks evne til at tegne meningsfulde forbindelser mellem meget store antal forskellige funktioner er forbundet med deres kompleksitet.

Selv her kunne glassbox machine learning hjælpe. En løsning er at tage to omgange med dataene og træne en ufuldkommen glasboksmodel som et fejlfindingstrin for at afdække potentielle fejl, som du måske vil rette. Når dataene er blevet ryddet op, kan en mere præcis black-box-model trænes.

Det er dog en vanskelig balance. For meget gennemsigtighed kan føre til overbelastning af information. I en 2018 stud Y ved at se på, hvordan ikke-ekspertbrugere interagerer med maskinlæringsværktøjer, fandt Vaughan ud af, at gennemsigtige modeller faktisk kan gøre det sværere at opdage og rette modellens fejl.

En anden tilgang er at inkludere visualiseringer, der viser nogle få nøgleegenskaber ved modellen og dens underliggende data. Tanken er, at du kan se alvorlige problemer med et øjeblik. For eksempel kan modellen stole for meget på visse funktioner, hvilket kunne signalere bias.

Disse visualiseringsværktøjer har vist sig utroligt populære i den korte tid, de har eksisteret. Men hjælper de virkelig? I den første undersøgelse af sin art , har Vaughan og hendes team forsøgt at finde ud af det – og afsløret nogle alvorlige problemer.

Holdet tog to populære fortolkningsværktøjer, der giver et overblik over en model via diagrammer og dataplot, der fremhæver ting, som maskinlæringsmodellen fangede mest under træningen. Elleve AI-professionelle blev rekrutteret fra Microsoft, alle forskellige i uddannelse, jobroller og erfaring. De deltog i en falsk interaktion med en maskinlæringsmodel trænet på et nationalt indkomstdatasæt taget fra den amerikanske folketælling i 1994. Eksperimentet blev designet specifikt til at efterligne den måde, dataforskere bruger fortolkningsværktøjer i den slags opgaver, de møder rutinemæssigt.

Hvad holdet fandt var slående. Selvfølgelig hjalp værktøjerne nogle gange folk med at se manglende værdier i dataene. Men denne anvendelighed blev overskygget af en tendens til overdreven tillid og fejllæsning af visualiseringerne. I nogle tilfælde kunne brugerne ikke engang beskrive, hvad visualiseringerne viste. Dette førte til forkerte antagelser om datasættet, modellerne og selve fortolkningsværktøjerne. Og det indgydte en falsk tillid til værktøjerne, der gjorde deltagerne mere gung-ho om at implementere modellerne, selv når de følte, at noget ikke var helt rigtigt. Bekymrende nok var dette sandt, selv når outputtet var blevet manipuleret til at vise forklaringer, der ikke gav mening.

For at bakke op om resultaterne fra deres lille brugerundersøgelse gennemførte forskerne derefter en online-undersøgelse af omkring 200 maskinlæringsprofessionelle rekrutteret via mailinglister og sociale medier. De fandt lignende forvirring og malplaceret tillid.

Endnu værre var, at mange deltagere var glade for at bruge visualiseringerne til at træffe beslutninger om implementering af modellen på trods af at de indrømmede, at de ikke forstod matematikken bag dem. Det var især overraskende at se folk retfærdiggøre mærkværdigheder i dataene ved at skabe fortællinger, der forklarede dem, siger Harmanpreet Kaur ved University of Michigan, en medforfatter på undersøgelsen. Automatiseringsbias var en meget vigtig faktor, som vi ikke havde overvejet.

Ah, automatiseringens skævhed. Med andre ord er folk klar til at stole på computere. Det er ikke nyt fænomen . Når det kommer til automatiserede systemer fra flyautopiloter til stavekontrol, har undersøgelser vist, at mennesker ofte accepterer de valg, de træffer, selv når de åbenlyst tager fejl. Men når dette sker med værktøjer designet til at hjælpe os med at undgå netop dette fænomen, har vi et endnu større problem.

Hvad kan vi gøre ved det? For nogle er en del af problemet med den første bølge af XAI, at den er domineret af maskinlæringsforskere, hvoraf de fleste er ekspertbrugere af AI-systemer. Siger Tim Miller fra University of Melbourne, som studerer, hvordan mennesker bruger AI-systemer: De indsatte driver asylet.

Dette er, hvad Ehsan indså, da han sad bag på den førerløse Uber. Det er nemmere at forstå, hvad et automatiseret system gør - og se, hvornår det laver en fejl - hvis det giver årsager til sine handlinger, som et menneske ville. Ehsan og hans kollega Mark Riedl udvikler et maskinlæringssystem, der genererer automatisk sådanne begrundelser i naturligt sprog . I en tidlig prototype tog parret et neuralt netværk, der havde lært at spille det klassiske 1980'er-videospil Frogger og trænede det til at give en grund, hver gang det lavede et træk.

Skærmbillede af Ehsan og Riedls Frogger Forklaringssoftware Upol Ehsan

For at gøre dette viste de systemet mange eksempler på mennesker, der spillede spillet, mens de talte højt om, hvad de lavede. De tog derefter et neuralt netværk til oversættelse mellem to naturlige sprog og tilpassede det til i stedet at oversætte mellem handlinger i spillet og naturligt sproglige begrundelser for disse handlinger. Nu, når det neurale netværk ser en handling i spillet, oversætter det det til en forklaring. Resultatet er en Frogger-spillende AI, der siger ting som, at jeg bevæger mig til venstre for at blive bag den blå lastbil, hver gang den bevæger sig.

Ehsan og Riedls arbejde er kun en begyndelse. For det første er det ikke klart, om et maskinlæringssystem altid vil være i stand til at give et naturligt sprogligt rationale for sine handlinger. Tag DeepMinds brætspils-AI AlphaZero. Et af de mest slående træk ved softwaren er dens evne til at lave vindende træk, som de fleste menneskelige spillere ikke ville tænke på at prøve på det tidspunkt i et spil. Hvis AlphaZero var i stand til at forklare sine tiltag, ville de så altid give mening?

Grunde hjælper, uanset om vi forstår dem eller ej, siger Ehsan: Målet med menneskecentreret XAI er ikke kun at få brugeren til at gå med til, hvad AI siger – det er også at fremkalde refleksion. Riedl husker at have set livestreamen af ​​turneringskampen mellem DeepMinds AI og den koreanske Go-mester Lee Sedol. Kommentatorerne talte om, hvad AlphaGo så og tænkte. 'Det var ikke sådan, AlphaGo fungerede,' siger Riedl. 'Men jeg følte, at kommentaren var afgørende for at forstå, hvad der skete.'

Hvad denne nye bølge af XAI-forskere er enige om, er, at hvis AI-systemer skal bruges af flere mennesker, skal disse mennesker være en del af designet fra starten - og forskellige mennesker har brug for forskellige slags forklaringer. (Dette bakkes op af en ny undersøgelse fra Howley og hendes kolleger, hvor de viser, at folks evne til at forstå en interaktiv eller statisk visualisering afhænger af deres uddannelsesniveauer.) Tænk på en kræftdiagnosticerende AI, siger Ehsan. Du vil gerne have, at forklaringen, det giver til en onkolog, er meget anderledes end forklaringen, den giver patienten.

I sidste ende ønsker vi, at AI'er skal forklare sig ikke kun for dataforskere og læger, men for politibetjente, der bruger ansigtsgenkendelsesteknologi, lærere, der bruger analysesoftware i deres klasseværelser, studerende, der prøver at forstå deres sociale medier-feeds – og alle, der sidder på bagsædet af en selvkørende bil. Vi har altid vidst, at folk overstoler teknologien, og det gælder især med AI-systemer, siger Riedl. Jo mere du siger, at det er smart, jo flere mennesker er overbevist om, at det er smartere, end de er.

Forklaringer, som enhver kan forstå, bør hjælpe med at sprænge den boble.

skjule