Den mørke hemmelighed i hjertet af AI

Ingen ved rigtigt, hvordan de mest avancerede algoritmer gør, hvad de gør. Det kunne være et problem. Ved

• Will Knight arkiv side

11. april 2017

Keith Rankin

Sidste år blev en mærkelig selvkørende bil sluppet ud på de stille veje i Monmouth County, New Jersey. Det eksperimentelle køretøj, udviklet af forskere hos chipproducenten Nvidia, så ikke anderledes ud end andre autonome biler, men det var ulig noget, der blev demonstreret af Google, Tesla eller General Motors, og det viste den stigende kraft af kunstig intelligens. Bilen fulgte ikke en eneste instruktion leveret af en ingeniør eller programmør. I stedet stolede den udelukkende på en algoritme, der havde lært sig selv at køre ved at se et menneske gøre det.

At få en bil til at køre på denne måde var en imponerende bedrift. Men det er også lidt foruroligende, da det ikke er helt klart, hvordan bilen træffer sine beslutninger. Information fra køretøjets sensorer går direkte ind i et enormt netværk af kunstige neuroner, der behandler dataene og derefter leverer de kommandoer, der kræves for at betjene rattet, bremserne og andre systemer. Resultatet ser ud til at matche de svar, du ville forvente fra en menneskelig chauffør. Men hvad nu hvis den en dag gjorde noget uventet - styrtede ind i et træ eller sad ved grønt lys? Som tingene ser ud nu, kan det være svært at finde ud af hvorfor. Systemet er så kompliceret, at selv de ingeniører, der har designet det, kan kæmpe for at isolere årsagen til en enkelt handling. Og du kan ikke spørge det: Der er ingen indlysende måde at designe et sådant system, så det altid kan forklare, hvorfor det gjorde, hvad det gjorde.

Denne historie var en del af vores maj 2017-udgave

• Se resten af ​​problemet
• Abonner

Det mystiske sind i dette køretøj peger på et truende problem med kunstig intelligens . Bilens underliggende AI-teknologi, kendt som deep learning, har vist sig meget stærk til at løse problemer i de senere år, og den er blevet brugt bredt til opgaver som billedtekstning, stemmegenkendelse og sprogoversættelse. Der er nu håb om, at de samme teknikker vil være i stand til at diagnosticere dødelige sygdomme, træffe handelsbeslutninger for millioner dollar og gøre utallige andre ting for at transformere hele industrier.

Men dette vil ikke ske - eller bør ikke ske - medmindre vi finder måder at gøre teknikker som dyb læring mere forståelige for deres skabere og ansvarlige over for deres brugere. Ellers vil det være svært at forudsige, hvornår fejl kan opstå - og det er uundgåeligt, at de vil. Det er en af ​​grundene til, at Nvidias bil stadig er eksperimentel.

I forvejen bliver matematiske modeller brugt til at hjælpe med at afgøre, hvem der gør prøveløslatelse, hvem der er godkendt til et lån, og hvem der bliver ansat til et job. Hvis du kunne få adgang til disse matematiske modeller, ville det være muligt at forstå deres ræsonnement. Men banker, militæret, arbejdsgivere og andre retter nu deres opmærksomhed mod mere komplekse maskinlæringstilgange, der kan gøre automatiseret beslutningstagning helt uudgrundelig. Deep learning, den mest almindelige af disse tilgange, repræsenterer en fundamentalt anderledes måde at programmere computere på. Det er et problem, der allerede er relevant, og det bliver meget mere relevant i fremtiden, siger Tommi Jaakkola, professor ved MIT, der arbejder med anvendelser af maskinlæring. Uanset om det er en investeringsbeslutning, en medicinsk beslutning eller måske en militær beslutning, vil du ikke bare stole på en 'black box'-metode.

Der er allerede et argument om, at det er en grundlæggende juridisk rettighed at kunne udspørge et AI-system om, hvordan det nåede frem til sine konklusioner. Fra sommeren 2018 kan EU kræve, at virksomheder skal kunne give brugerne en forklaring på beslutninger, som automatiserede systemer når frem til. Dette kan være umuligt, selv for systemer, der virker relativt enkle på overfladen, såsom apps og websteder, der bruger deep learning til at vise annoncer eller anbefale sange. De computere, der kører disse tjenester, har programmeret sig selv, og de har gjort det på måder, vi ikke kan forstå. Selv de ingeniører, der bygger disse apps, kan ikke fuldt ud forklare deres adfærd.

Dette rejser åndssvage spørgsmål. Efterhånden som teknologien udvikler sig, kan vi snart krydse en tærskel, ud over hvilken brug af kunstig intelligens kræver et spring af tro. Selvfølgelig kan vi mennesker heller ikke altid virkelig forklare vores tankeprocesser - men vi finder måder at intuitivt stole på og måle mennesker på. Vil det også være muligt med maskiner, der tænker og træffer beslutninger anderledes end et menneske ville? Vi har aldrig før bygget maskiner, der fungerer på måder, som deres skabere ikke forstår. Hvor godt kan vi forvente at kommunikere – og komme overens med – intelligente maskiner, der kan være uforudsigelige og uransagelige? Disse spørgsmål tog mig med på en rejse til den blødende kant af forskning i AI-algoritmer, fra Google til Apple og mange steder imellem, inklusive et møde med en af ​​vor tids store filosoffer.

Kunstneren Adam Ferriss skabte dette billede, og det nedenfor, ved hjælp af Google Deep Dream, et program, der justerer et billede for at stimulere mønstergenkendelsesmulighederne i et dybt neuralt netværk. Billederne blev produceret ved hjælp af et mellemniveaulag af det neurale netværk. Adam Ferriss

I 2015 blev en forskergruppe på Mount Sinai Hospital i New York inspireret til at anvende dyb læring til hospitalets enorme database med patientjournaler. Dette datasæt indeholder hundredvis af variabler om patienter, hentet fra deres testresultater, lægebesøg og så videre. Det resulterende program, som forskerne kaldte Deep Patient, blev trænet ved hjælp af data fra omkring 700.000 individer, og da det blev testet på nye journaler, viste det sig utroligt godt til at forudsige sygdom. Uden nogen ekspertinstruktion havde Deep Patient opdaget mønstre gemt i hospitalsdataene, der syntes at indikere, hvornår folk var på vej til en lang række lidelser, herunder leverkræft. Der er mange metoder, der er ret gode til at forudsige sygdom ud fra en patients journaler, siger Joel Dudley, der leder Mount Sinai-teamet. Men, tilføjer han, det her var bare meget bedre.

Vi kan bygge disse modeller, men vi ved ikke, hvordan de fungerer.

Samtidig er Deep Patient lidt forvirrende. Det ser ud til at forudse begyndelsen af ​​psykiatriske lidelser som skizofreni overraskende godt. Men da skizofreni er notorisk svært for læger at forudsige, undrede Dudley sig over, hvordan dette var muligt. Han ved det stadig ikke. Det nye værktøj giver ingen anelse om, hvordan det gør dette. Hvis noget som Deep Patient faktisk skal hjælpe læger, vil det ideelt set give dem begrundelsen for dets forudsigelse, for at forsikre dem om, at det er nøjagtigt, og for at retfærdiggøre f.eks. en ændring i de lægemidler, nogen får ordineret. Vi kan bygge disse modeller, siger Dudley bedrøvet, men vi ved ikke, hvordan de fungerer.

Kunstig intelligens har ikke altid været sådan. Fra begyndelsen var der to tankegange om, hvor forståelig eller forklarlig AI burde være. Mange mente, at det gav mest mening at bygge maskiner, der ræsonnerede i overensstemmelse med regler og logik, hvilket gør deres indre virke gennemskuelige for alle, der gad undersøge noget kode. Andre mente, at intelligens lettere ville opstå, hvis maskiner tog inspiration fra biologi og lærte ved at observere og opleve. Det betød at vende computerprogrammering på hovedet. I stedet for at en programmør skriver kommandoerne for at løse et problem, genererer programmet sin egen algoritme baseret på eksempeldata og et ønsket output. De maskinlæringsteknikker, der senere ville udvikle sig til nutidens mest kraftfulde AI-systemer, fulgte den sidste vej: Maskinen programmerer i det væsentlige sig selv.

Først var denne tilgang af begrænset praktisk nytte, og i 1960'erne og 70'erne forblev den stort set begrænset til udkanten af ​​feltet. Derefter fornyede computeriseringen af ​​mange industrier og fremkomsten af ​​store datasæt interessen. Det inspirerede udviklingen af ​​mere kraftfulde maskinlæringsteknikker, især nye versioner af en kendt som det kunstige neurale netværk. I 1990'erne kunne neurale netværk automatisk digitalisere håndskrevne tegn.

Men det var først i begyndelsen af ​​dette årti, efter adskillige smarte justeringer og justeringer, at meget store – eller dybe – neurale netværk viste dramatiske forbedringer i automatiseret perception. Deep learning er ansvarlig for nutidens eksplosion af AI. Det har givet computere ekstraordinære kræfter, såsom evnen til at genkende talte ord næsten lige så godt, som en person kunne, en færdighed, der er for kompleks til at kode ind i maskinen i hånden. Deep learning har transformeret computersyn og dramatisk forbedret maskinoversættelse. Det bliver nu brugt til at vejlede alle mulige vigtige beslutninger inden for medicin, økonomi, fremstilling – og videre.

Adam Ferriss

Funktionen af ​​enhver maskinindlæringsteknologi er i sagens natur mere uigennemsigtig, selv for dataloger, end et håndkodet system. Dette betyder ikke, at alle fremtidige AI-teknikker vil være lige ukendte. Men i sagens natur er deep learning en særlig mørk sort boks.

Du kan ikke bare kigge ind i et dybt neuralt netværk for at se, hvordan det fungerer. Et netværks ræsonnement er indlejret i adfærden hos tusindvis af simulerede neuroner, arrangeret i snesevis eller endda hundredvis af indviklet indbyrdes forbundne lag. Neuronerne i det første lag modtager hver et input, ligesom intensiteten af ​​en pixel i et billede, og udfører derefter en beregning, før de udsender et nyt signal. Disse output føres, i et komplekst væv, til neuronerne i det næste lag, og så videre, indtil et samlet output er produceret. Derudover er der en proces kendt som back-propagation, der justerer beregningerne af individuelle neuroner på en måde, der lader netværket lære at producere et ønsket output.

De mange lag i et dybt netværk gør det muligt at genkende ting på forskellige abstraktionsniveauer. I et system designet til at genkende hunde, for eksempel, genkender de nederste lag simple ting som konturer eller farve; højere lag genkender mere komplekse ting som pels eller øjne; og det øverste lag identificerer det hele som en hund. Den samme tilgang kan groft sagt anvendes på andre input, der får en maskine til at lære sig selv: de lyde, der udgør ord i tale, de bogstaver og ord, der skaber sætninger i tekst, eller de ratbevægelser, der kræves for at køre.

Det kan være en del af intelligensens natur, at kun en del af den er udsat for rationel forklaring. Noget af det er bare instinktivt.

Geniale strategier er blevet brugt til at forsøge at fange og dermed forklare mere detaljeret, hvad der sker i sådanne systemer. I 2015 modificerede forskere hos Google en deep-learning-baseret billedgenkendelsesalgoritme, så den i stedet for at spotte objekter på fotos ville generere eller ændre dem. Ved effektivt at køre algoritmen omvendt, kunne de opdage de funktioner, programmet bruger til at genkende f.eks. en fugl eller bygning. Det resulterende billeder , produceret af et projekt kendt som Deep Dream, viste groteske, alien-lignende dyr, der dukkede op fra skyer og planter, og hallucinatoriske pagoder, der blomstrede på tværs af skove og bjergkæder. Billederne beviste, at dyb læring ikke behøver at være helt uudgrundelig; de afslørede, at algoritmerne går ind på velkendte visuelle funktioner som et fuglenæb eller fjer. Men billederne antydede også, hvor forskellig dyb læring er fra menneskelig perception, idet den måske gør noget ud af en artefakt, som vi ville vide at ignorere. Google-forskere bemærkede, at når dens algoritme genererede billeder af en håndvægt, genererede den også en menneskelig arm, der holdt den. Maskinen havde konkluderet, at en arm var en del af tingen.

Der er gjort yderligere fremskridt ved at bruge ideer lånt fra neurovidenskab og kognitiv videnskab. Et hold ledet af Jeff Clune, en assisterende professor ved University of Wyoming, har brugt AI-ækvivalenten til optiske illusioner til at teste dybe neurale netværk. I 2015 viste Clunes gruppe, hvordan bestemte billeder kunne narre sådan et netværk til at opfatte ting, der ikke er der, fordi billederne udnytter de lavniveaumønstre, systemet søger efter. En af Clunes samarbejdspartnere, Jason Yosinski, byggede også et værktøj, der fungerer som en sonde, der sidder fast i en hjerne. Hans værktøj retter sig mod enhver neuron i midten af ​​netværket og søger efter det billede, der aktiverer det mest. Billederne, der dukker op, er abstrakte (forestil dig et impressionistisk billede på en flamingo eller en skolebus), der fremhæver den mystiske karakter af maskinens perceptuelle evner.

Dette tidlige kunstige neurale netværk, ved Cornell Aeronautical Laboratory i Buffalo, New York, omkring 1960, behandlede input fra lyssensorer.

Ferriss blev inspireret til at køre Cornells kunstige neurale netværk gennem Deep Dream og producerede billederne ovenfor og nedenfor. Adam Ferriss

Vi har dog brug for mere end et glimt af AI's tankegang, og der er ingen nem løsning. Det er samspillet mellem beregninger inde i et dybt neuralt netværk, der er afgørende for mønstergenkendelse på højere niveau og kompleks beslutningstagning, men disse beregninger er et sump af matematiske funktioner og variabler. Hvis du havde et meget lille neuralt netværk, kunne du måske forstå det, siger Jaakkola. Men når det først bliver meget stort, og det har tusindvis af enheder pr. lag og måske hundredvis af lag, så bliver det ret uforståeligt.

På kontoret ved siden af ​​Jaakkola er Regina Barzilay, en MIT-professor, som er fast besluttet på at anvende maskinlæring til medicin. Hun blev diagnosticeret med brystkræft for et par år siden, i en alder af 43. Diagnosen var chokerende i sig selv, men Barzilay var også forfærdet over, at banebrydende statistiske og maskinlæringsmetoder ikke blev brugt til at hjælpe med onkologisk forskning eller vejlede patientbehandling. Hun siger, at kunstig intelligens har et enormt potentiale til at revolutionere medicin, men at indse dette potentiale vil betyde, at man går ud over blot medicinske journaler. Hun forestiller sig at bruge flere af de rådata, som hun siger, er underudnyttede i øjeblikket: billeddata, patologidata, al denne information.

Hvor godt kan vi komme overens med maskiner, der er uforudsigelige og uransagelige?

Efter at hun afsluttede kræftbehandling sidste år, begyndte Barzilay og hendes studerende at arbejde sammen med læger på Massachusetts General Hospital for at udvikle et system, der er i stand til at udvinde patologirapporter for at identificere patienter med specifikke kliniske karakteristika, som forskerne måske ønsker at studere. Men Barzilay forstod, at systemet skulle forklare sin begrundelse. Så sammen med Jaakkola og en elev tilføjede hun et trin: Systemet udtrækker og fremhæver tekstuddrag, der er repræsentative for et mønster, det har opdaget. Barzilay og hendes elever er også ved at udvikle en dyb-læringsalgoritme, der er i stand til at finde tidlige tegn på brystkræft i mammografibilleder, og de sigter mod at give dette system en vis evne til også at forklare dets ræsonnement. Du skal virkelig have en løkke, hvor maskinen og mennesket samarbejder, - siger Barzilay.

Det amerikanske militær hælder milliarder ind i projekter, der vil bruge maskinlæring til at styre køretøjer og fly, identificere mål og hjælpe analytikere med at gennemsøge enorme bunker af efterretningsdata. Her mere end noget andet sted, endda mere end i medicin, er der lidt plads til algoritmisk mystik, og forsvarsministeriet har identificeret forklarlighed som en vigtig anstødssten.

David Gunning, en programleder hos Defense Advanced Research Projects Agency, fører tilsyn med det passende navngivne Explainable Artificial Intelligence-program. En sølvhåret veteran fra agenturet, der tidligere havde tilsyn med DARPA-projektet, der til sidst førte til oprettelsen af ​​Siri, siger Gunning, at automatiseringen kryber ind i utallige områder af militæret. Intelligensanalytikere tester maskinlæring som en måde at identificere mønstre i enorme mængder af overvågningsdata. Mange autonome landkøretøjer og fly er ved at blive udviklet og testet. Men soldater vil sandsynligvis ikke føle sig godt tilpas i en robottank, der ikke forklarer sig selv for dem, og analytikere vil være tilbageholdende med at handle på information uden nogen begrundelse. Det er ofte karakteren af ​​disse maskinlæringssystemer, at de producerer mange falske alarmer, så en intelanalytiker har virkelig brug for ekstra hjælp til at forstå, hvorfor en anbefaling blev lavet, siger Gunning.

I marts valgte DARPA 13 projekter fra den akademiske verden og industrien til finansiering under Gunnings program. Nogle af dem kunne bygge på arbejde ledet af Carlos Guestrin, en professor ved University of Washington. Han og hans kolleger har udviklet en måde, hvorpå maskinlæringssystemer kan give et rationale for deres output. I det væsentlige finder en computer under denne metode automatisk nogle få eksempler fra et datasæt og serverer dem i en kort forklaring. Et system designet til at klassificere en e-mail-besked som værende fra en terrorist, kan for eksempel bruge mange millioner meddelelser i sin træning og beslutningstagning. Men ved at bruge Washington-teamets tilgang kunne det fremhæve visse søgeord, der findes i en besked. Guestrins gruppe har også udtænkt måder, hvorpå billedgenkendelsessystemer kan antyde deres begrundelse ved at fremhæve de dele af et billede, der var mest betydningsfulde.

Adam Ferriss

En ulempe ved denne tilgang og andre lignende, såsom Barzilays, er, at forklaringerne altid vil være forenklede, hvilket betyder, at nogle vigtige oplysninger kan gå tabt undervejs. Vi har ikke nået hele drømmen, det er her, AI har en samtale med dig, og den er i stand til at forklare, siger Guestrin. Vi er langt fra at have virkelig fortolkelig AI.

Det behøver ikke at være en situation med høj indsats som kræftdiagnose eller militære manøvrer, for at dette bliver et problem. At kende AI's ræsonnement vil også være afgørende, hvis teknologien skal blive en fælles og nyttig del af vores daglige liv. Tom Gruber, der leder Siri-teamet hos Apple, siger, at forklaring er en vigtig overvejelse for hans team, da det forsøger at gøre Siri til en smartere og mere dygtig virtuel assistent. Gruber ville ikke diskutere specifikke planer for Siris fremtid, men det er let at forestille sig, at hvis du modtager en restaurantanbefaling fra Siri, vil du gerne vide, hvad begrundelsen var. Ruslan Salakhutdinov, direktør for AI-forskning hos Apple og lektor ved Carnegie Mellon University, ser forklarlighed som kernen i det udviklende forhold mellem mennesker og intelligente maskiner. Det kommer til at indføre tillid, siger han.

Relateret historie

Læs Næste Maskiner, der virkelig forstår sprog, ville være utrolig nyttige. Men vi ved ikke, hvordan vi bygger dem.

Ligesom mange aspekter af menneskelig adfærd er umulige at forklare i detaljer, vil det måske ikke være muligt for AI at forklare alt, hvad den gør. Selv hvis nogen kan give dig en fornuftig forklaring [for hans eller hendes handlinger], er den sandsynligvis ufuldstændig, og det samme kunne meget vel være sandt for AI, siger Clune fra University of Wyoming. Det er måske bare en del af intelligensens natur, at kun en del af den er udsat for rationel forklaring. Noget af det er bare instinktivt, underbevidst eller uransageligt.

Hvis det er tilfældet, skal vi på et tidspunkt måske blot stole på AI's dømmekraft eller undvære at bruge den. Ligeledes vil den dom skulle inkorporere social intelligens. Ligesom samfundet er bygget på en kontrakt om forventet adfærd, bliver vi nødt til at designe AI-systemer, så de respekterer og passer til vores sociale normer. Hvis vi skal skabe robottanke og andre dræbermaskiner, er det vigtigt, at deres beslutningstagning er i overensstemmelse med vores etiske vurderinger.

For at undersøge disse metafysiske begreber tog jeg til Tufts University for at mødes med Daniel Dennett, en berømt filosof og kognitiv videnskabsmand, der studerer bevidsthed og sind. Et kapitel af Dennetts seneste bog, Fra bakterier til Bach og tilbage , en encyklopædisk afhandling om bevidsthed, antyder, at en naturlig del af udviklingen af ​​intelligens i sig selv er skabelsen af ​​systemer, der er i stand til at udføre opgaver, som deres skabere ikke ved, hvordan de skal udføre. Spørgsmålet er, hvilke tilpasninger skal vi gøre for at gøre dette klogt – hvilke standarder kræver vi af dem og af os selv? fortæller han på sit rodede kontor på universitetets idylliske campus.

Han har også en advarsel om søgen efter forklaring. Jeg tror på alle måder, hvis vi skal bruge de her ting og stole på dem, så lad os så få et så fast greb om, hvordan og hvorfor de giver os svarene som muligt, siger han. Men da der måske ikke er noget perfekt svar, bør vi være lige så forsigtige med AI-forklaringer, som vi er med hinandens – uanset hvor smart en maskine virker. Hvis det ikke kan gøre det bedre end os til at forklare, hvad det gør, siger han, så lad være med at stole på det.

skjule