En debat mellem AI-eksperter viser en kamp om teknologiens fremtid

Gary Marcus og Danny Lange Marcus: R. Farrell/ITU; Lange: Cody Glenn/Web Summit

Siden 1950'erne har kunstig intelligens gentagne gange overløftet og underleveret. Mens de seneste år har set utrolige spring takket være dyb læring, er AI i dag stadig snæver: den er skrøbelig over for angreb, kan ikke generalisere for at tilpasse sig skiftende miljøer og er fyldt med bias. Alle disse udfordringer gør teknologien svær at stole på og begrænser dens potentiale til gavn for samfundet.

Den 26. marts ved MIT Technology Reviews årlige EmTech Digital-begivenhed tog to prominente personer inden for kunstig intelligens til den virtuelle scene for at diskutere, hvordan feltet kunne overvinde disse problemer.

Gary Marcus, professor emeritus ved NYU og grundlægger og administrerende direktør for Robust.AI, er en velkendt kritiker af deep learning. I hans bog Genstarter AI , udgivet sidste år, argumenterede han for, at AI's mangler er iboende i teknikken. Forskere må derfor se ud over deep learning, hævder han, og kombinere det med klassisk eller symbolsk AI – systemer, der koder viden og er i stand til at ræsonnere.

Danny Lange, vicepræsident for kunstig intelligens og maskinlæring hos Unity, sidder fast i den dybe læringslejr. Han byggede sin karriere på teknikkens løfte og potentiale efter at have fungeret som chef for machine learning hos Uber, general manager for Amazon Machine Learning og en produktleder hos Microsoft med fokus på maskinlæring i stor skala. Hos Unity hjælper han nu laboratorier som DeepMind og OpenAI med at konstruere virtuelle træningsmiljøer, der lærer deres algoritmer en følelse af verden.

Under arrangementet holdt hver taler et kort oplæg og satte sig derefter til en paneldebat. De uenigheder, de udtrykte, afspejler mange af sammenstødene inden for feltet og fremhæver, hvor kraftfuldt teknologien er blevet formet af en vedvarende idékamp, ​​og hvor lidt sikkerhed der er om, hvor den er på vej hen næste gang.

Nedenfor er deres paneldiskussion blevet fortættet og let redigeret for klarhedens skyld.

Gary, du trækker på din ekspertise inden for neurovidenskab og psykologi for at finde ud af, hvad der lige nu mangler i AI. Hvad er det ved klassisk kunstig intelligens, som du mener gør det til det rigtige system at kombinere med dyb læring?

Gary Marcus: Den første ting, jeg vil sige, er, at vi muligvis har brug for hybrider, der er mere komplicerede end blot deep learning plus klassisk AI. Vi skal kl mindst at. Men der kan være en hel masse ting, vi ikke engang har drømt om endnu. Vi skal være åbne.

Hvorfor tilføje klassisk AI til blandingen? Nå, vi laver alle slags ræsonnementer baseret på vores viden i verden. Deep learning repræsenterer bare ikke det. Der er ingen måde i disse systemer at repræsentere, hvad en bold er eller hvad en flaske er, og hvad disse ting gør ved hinanden. Så resultaterne ser flotte ud, men de er typisk ikke særlig generaliserbare.

Klassisk kunstig intelligens – det er dens styrehus. Den kan for eksempel analysere en sætning til dens semantiske repræsentation eller have viden om, hvad der foregår i verden og derefter drage slutninger om det. Det har sine egne problemer: det har normalt ikke nok dækning, fordi for meget af det er håndskrevet og så videre. Men i det mindste i princippet er det den eneste måde, vi kender til at lave systemer, der kan gøre ting som logisk slutning og induktiv slutning over abstrakt viden. Det betyder stadig ikke, at det er helt rigtigt, men det er langt det bedste, vi har.

Og så er der en masse psykologiske beviser på, at folk kan lave et eller andet niveau af symbolsk repræsentation. I mit tidligere liv som kognitiv udviklingsperson lavede jeg eksperimenter med syv måneder gamle spædbørn og viste, at disse spædbørn kunne generalisere symbolsk viden. Så hvis et syv måneder gammelt spædbarn kan gøre det, hvorfor holder vi så vores hænder bag ryggen og forsøger at opbygge AI uden mekanismer, som spædbørn har?

Har du set nogle projekter, hvor de med succes har kombineret dyb læring og symbolsk AI på lovende måder?

GM: I en artikel jeg skrev hedder Det næste årti i AI , listede jeg omkring 20 forskellige nyere projekter, der forsøger at sammensætte hybridmodeller, der har noget dyb læring og noget symbolsk viden. Et eksempel, som alle kender, er Google-søgning. Når du indtaster en søgeforespørgsel, er der noget klassisk kunstig intelligens, der forsøger at tvetydige ord. Det forsøger at finde ud af, hvornår du taler om Paris, taler du om Paris Hilton, Paris, Texas eller Paris, Frankrig, ved hjælp af Google vidensgraf. Og så bruger den dyb læring til at gøre nogle andre ting - for eksempel at finde synonymer ved hjælp af BERT model . Selvfølgelig er Google-søgning ikke den AI, som vi i sidste ende håber at opnå, men det er et ret solidt bevis på, at dette ikke er en umulig drøm.

Danny, er du enig i, at vi skal se på disse hybridmodeller?

Danny Lange: Nej, jeg er ikke enig. Det problem, jeg har med symbolsk AI, er dens forsøg på at prøve at efterligne den menneskelige hjerne i en meget dyb forstand. Det minder mig lidt om, du ved, i det 18. århundrede, hvis du ville have hurtigere transport, ville du arbejde på at bygge en mekanisk hest frem for at opfinde forbrændingsmotoren. Så jeg er meget skeptisk over for at forsøge at løse AI ved at prøve at efterligne den menneskelige hjerne.

Dyb læring er ikke nødvendigvis en sølvkugle, men hvis du fodrer den med nok data, og du har den rigtige neurale netværksarkitektur, er den i stand til at lære abstraktioner, som vi som mennesker ikke kan fortolke, men det gør systemet meget effektivt til at løse en bred vifte af opgaver.

Det lyder som om, at I begge grundlæggende er uenige om, hvad målet med AI er.

GM: Jeg tror, ​​der er en ironi. Da jeg havde en debat med Yoshua Bengio i december, sagde Bengio, at den eneste forpligtelse til dyb læring var, at den var neurologisk baseret. Så jeg har hørt begge modsatte yderpunkter fra deep learning. Det er lidt mærkeligt, og jeg synes ikke, vi skal tage de argumenter alvorligt.

I stedet bør vi sige: Kan symboler hjælpe os? Og svaret er, overvældende, ja. Næsten al verdens software er bygget på symboler. Og så er du nødt til at sige, empirisk, gør de dybe lærings-ting det, vi ønsker, det skal gøre? Og problemet indtil videre er, at den har været modelfri. Vicarious [en AI-drevet industrirobotopstart] havde en stor demonstration af et Atari-spillæringssystem, som DeepMind gjorde meget populært, hvor det lærte at spille Breakout på et overmenneskeligt niveau. Men så flyttede Vicarious pagajen et par pixels, og det hele faldt fra hinanden, fordi indlæringsniveauet var alt for lavt. Den havde ikke et koncept om en pagaj, en bold, et sæt klodser. En symbolsk algoritme til Breakout ville meget nemt kunne kompensere for de ting.

Grunden til at se på mennesker er, fordi der er visse ting, som mennesker gør meget bedre end deep-learning-systemer. Det betyder ikke, at mennesker i sidste ende vil være den rigtige model. Vi vil have systemer, der har nogle egenskaber ved computere og nogle egenskaber, der er lånt af folk. Vi ønsker ikke, at vores AI-systemer skal have dårlig hukommelse, bare fordi folk har det. Men da mennesker er den eneste model af et system, der kan udvikle en dyb forståelse af noget - bogstaveligt talt den eneste model, vi har - er vi nødt til at tage den model seriøst.

DL: Ja, så eksemplet på, at verdens programmeringssprog er symbolsk baseret - det er sandt, fordi de er designet til mennesker til at implementere deres ideer og tanker.

Dyb læring er ikke en replikation af den menneskelige hjerne. Måske kan du sige, at det er inspireret af den neurale verden, men det er et stykke software. Vi er ikke rigtig gået i dybden med dyb læring endnu. Vi har indtil videre haft en begrænset mængde træningsdata. Vi har haft begrænsede strukturer med begrænset regnekraft. Men det vigtigste er, at deep learning lærer konceptet, det lærer funktionerne. Det er ikke en menneskeskabt ting. Jeg tror, ​​at den store forskel mellem Garys tilgang og min tilgang er, om de menneskelige ingeniører giver intelligens til systemet, eller om systemet selv lærer intelligens.

Danny, du nævnte, at vi ikke rigtig har set potentialet ved dyb læring fuldt ud på grund af begrænsninger i data og computer. Burde vi ikke udvikle nye teknikker, i betragtning af at deep learning er så ineffektivt? Vi har været nødt til at øge beregningen drastisk for at låse op for nye dybe læringsevner.

DL: Et af problemerne med deep learning er, at den hidtil virkelig har været baseret på en slags klassisk tilgang: du genererer et stort træningsdatasæt, og så føder du det ind. En ting, der virkelig kunne forbedre deep learning, er at have en aktiv læringsproces, hvor netværket trænes i at optimere træningsdataene. Du behøver ikke bare at indlæse en åndssvag mængde data for at forbedre læringsprocessen. Du kan hele tiden skræddersy dine træningsdata til at målrette et specifikt område.

Gary, du påpeger deep learnings sårbarheder overfor partiskhed og til modstridende angreb . Danny, du nævnte, at syntetiske data er en løsning på dette, fordi der ikke er nogen bias, og du kan køre millioner af simuleringer, der formodentlig fjerner modstridende sårbarheder. Hvad er hver af dine svar på det?

GM: Data alene er endnu ikke en løsning. Syntetiske data vil ikke hjælpe med ting som skævheder i lån eller skævheder i jobsamtaler. Det virkelige problem dér er, at disse systemer har en tendens til at fastholde skævheder, der var der af historiske årsager. Det er ikke indlysende, at syntetiske data er løsningen, i modsætning til at bygge systemer, der er sofistikerede nok til at forstå de kulturelle skævheder, som vi forsøger at erstatte.

Modstridende angreb er en anden slags ting. Data kan måske hjælpe med nogle af dem, men indtil videre har vi ikke rigtig elimineret de mange forskellige slags modstridende angreb. Jeg viste dig baseballen med skum på, der blev beskrevet som espresso. Hvis nogen på forhånd overvejer at lave baseballs med espresso i simulering og mærke dem omhyggeligt, fint. Der vil altid være nogle sager, som ingen har tænkt på. Et system, der er rent datadrevet, vil fortsat være sårbart.

DL: Data fra den virkelige verden er meget forudindtaget, uanset hvad du gør. Du indsamler data i et bestemt miljø, f.eks. for selvkørende køretøjer, og du har en repræsentation af måske 90 % voksne og 10 % børn i gaderne. Det er normalfordelingen. Men et maskinlæringssystem skal træne på lige store mængder af voksne og børn for sikkert at undgå at ramme nogen af ​​dem. Så med syntetiske data er du dybest set i stand til at balancere og undgå bias, hvis du er forsigtig. Det betyder ikke, at du ikke kan skabe nye skævheder. Det skal du passe på. Du løser helt sikkert privatlivsproblemer, for der er ingen rigtige mennesker eller rigtige børn i nogen af ​​dine træningsdata.

Hvad angår modstridende eksempler, er problemet med mange af dem, at de dybest set udvikles mod svage computervisionsmodeller - modeller, der er blevet trænet på 10 eller 20 millioner billeder, f.eks. fra ImageNet. Det er langt fra nok data til rent faktisk at generalisere en model. Vi har brug for store mængder datasæt med utrolige mængder domænerandomisering for at generalisere disse computervisionsmodeller, så de faktisk ikke bliver narre.

Hvad er det, du er mest begejstret for for fremtiden for kunstig intelligens?

GM: Der har været en reel bevægelse i retning af hybridmodeller i det sidste år. Folk udforsker nye ting, som de ikke har gjort før, og det er spændende.

DL: Jeg tror, ​​det er virkelig multi-model systemer - systemer, der er blevet sammensat af mange forskellige modeller for perception og adfærd sammen for at løse virkelige komplekse opgaver.

skjule