AI-pioner Geoff Hinton: Dyb læring vil kunne alt

Noah Berger/AP

• Om AI-feltets huller: 'Der bliver nødt til at være en del konceptuelle gennembrud... vi har også brug for en massiv skalaforøgelse.'
• Om neurale netværks svagheder: 'Neurale net er overraskende gode til at håndtere en ret lille mængde data, med et enormt antal parametre, men folk er endnu bedre.'
• Om hvordan vores hjerner fungerer: 'Det, der er inde i hjernen, er disse store vektorer af neural aktivitet.'

Den moderne AI-revolution begyndte under en obskur forskningskonkurrence. Det var 2012, det tredje år af den årlige ImageNet-konkurrence, som udfordrede hold til at bygge computervisionssystemer, der kunne genkende 1.000 objekter, fra dyr til landskaber til mennesker.

I de første to år havde de bedste hold ikke nået en nøjagtighed på 75 %. Men i den tredje blæste en gruppe på tre forskere - en professor og hans studerende - pludselig forbi dette loft. De vandt konkurrencen med svimlende 10,8 procentpoint. Den professor var Geoffrey Hinton, og den teknik, de brugte, blev kaldt deep learning.

Hinton havde faktisk arbejdet med deep learning siden 1980'erne, men dets effektivitet var blevet begrænset af mangel på data og regnekraft. Hans faste tro på teknikken gav i sidste ende massive udbytte. Det fjerde år af ImageNet-konkurrencen brugte næsten alle hold dyb læring og opnåede mirakuløse præcisionsgevinster. Snart nok blev der anvendt dyb læring til opgaver ud over billedgenkendelse og også inden for en bred vifte af industrier.

Sidste år, for sine grundlæggende bidrag til feltet, blev Hinton tildelt Turing-prisen sammen med andre AI-pionerer Yann LeCun og Yoshua Bengio. Den 20. oktober talte jeg med ham på MIT Technology Reviews årlige EmTech MIT-konference om feltets tilstand, og hvor han mener, at det skal være på vej hen.

Det følgende er blevet redigeret og komprimeret for klarhedens skyld.

Du tror, ​​at dyb læring vil være nok til at replikere al menneskelig intelligens. Hvad gør dig så sikker?

Jeg tror på, at dyb læring vil være i stand til alt, men jeg tror, ​​at der skal være en del konceptuelle gennembrud. For eksempel i 2017 Ashish Vaswani et al . introduceret transformere , som udleder rigtig gode vektorer, der repræsenterer ordbetydninger. Det var et konceptuelt gennembrud. Det bruges nu i næsten alle de allerbedste naturlige sprogbehandlinger. Vi får brug for en masse flere gennembrud af den slags.

Og hvis vi har disse gennembrud, vil vi så være i stand til at tilnærme al menneskelig intelligens gennem dyb læring?

Ja. Især gennembrud at gøre med, hvordan du får store vektorer af neural aktivitet til at implementere ting som fornuft. Men vi har også brug for en massiv skalaforøgelse. Den menneskelige hjerne har omkring 100 billioner parametre eller synapser. Det vi nu kalder en rigtig stor model, som f.eks GPT-3 , har 175 mia. Den er tusind gange mindre end hjernen. GPT-3 kan nu generere tekst, der ser ret plausibel ud, og den er stadig lille i forhold til hjernen.

Når du siger skala, mener du så større neurale netværk, flere data eller begge dele?

Begge. Der er en slags uoverensstemmelse mellem, hvad der sker inden for datalogi, og hvad der sker med mennesker. Folk har en enorm mængde parametre sammenlignet med mængden af ​​data, de får. Neurale net er overraskende gode til at håndtere en ret lille mængde data med et stort antal parametre, men folk er endnu bedre.

Mange mennesker i feltet mener, at sund fornuft er den næste store evne til at tackle. Er du enig?

Jeg er enig i, at det er en af ​​de meget vigtige ting. Jeg tror også, at motorisk kontrol er meget vigtig, og det bliver dybe neurale net nu gode til. Især noget nyligt arbejde hos Google har vist, at du kan lave finmotorik og kombinere det med sprog, så du kan åbne en skuffe og tage en blok ud, og systemet kan fortælle dig i naturligt sprog, hvad det laver.

For ting som GPT-3, der genererer denne vidunderlige tekst, er det klart, at den skal forstå meget for at generere den tekst, men det er ikke helt klart, hvor meget den forstår. Men hvis noget åbner skuffen og tager en blok ud og siger, jeg har lige åbnet en skuffe og taget en blok ud, det er svært at sige, at den ikke forstår, hvad den laver.

AI-feltet har altid set på den menneskelige hjerne som sin største inspirationskilde, og forskellige tilgange til AI er udsprunget af forskellige teorier inden for kognitiv videnskab. Tror du på, at hjernen faktisk bygger repræsentationer af den ydre verden for at forstå den, eller er det bare en nyttig måde at tænke det på?

For lang tid siden i kognitiv videnskab var der en debat mellem to skoler. Den ene blev ledet af Stephen Kosslyn, og han mente, at når du manipulerer visuelle billeder i dit sind, er det, du har, en række pixels, og du flytter dem rundt. Den anden tankegang var mere på linje med konventionel kunstig intelligens. Den sagde: Nej, nej, det er noget sludder. Det er hierarkiske, strukturelle beskrivelser. Du har en symbolsk struktur i dit sind, og det er hvad du manipulerer.

Jeg tror, ​​at de begge begik den samme fejl. Kosslyn troede, at vi manipulerede pixels, fordi eksterne billeder er lavet af pixels, og det er en repræsentation, vi forstår. Symbolet folk troede, vi manipulerede symboler, fordi vi også repræsenterer ting i symboler, og det er en repræsentation vi forstår. Det synes jeg er lige så forkert. Det, der er inde i hjernen, er disse store vektorer af neural aktivitet.

Der er nogle mennesker, der stadig tror, ​​at symbolsk repræsentation er en af ​​tilgangene til AI.

Absolut. Jeg har gode venner som Hector Levesque, der virkelig tror på den symbolske tilgang og har gjort et stort stykke arbejde i det. Jeg er uenig med ham, men den symbolske tilgang er en helt rimelig ting at prøve. Men mit gæt er i sidste ende, at vi vil indse, at symboler bare eksisterer derude i den ydre verden, og vi udfører interne operationer på store vektorer.

Hvad mener du er dit mest modstridende syn på fremtiden for kunstig intelligens?

Nå, mit problem er, at jeg har disse modstridende synspunkter, og så fem år senere er de mainstream. De fleste af mine modstridende synspunkter fra 1980'erne er nu på en måde bredt accepteret. Det er ret svært nu at finde folk, der er uenige med dem. Så ja, jeg er blevet lidt undermineret i mine modstridende synspunkter.

skjule