Er AI Ridning en One-Trick Pony?

Næsten alle AI-fremskridt, du har hørt om, afhænger af et gennembrud, der er tre årtier gammelt. At holde tempoet i fremskridtene vil kræve at konfrontere AI's alvorlige begrænsninger. Ved

• James Somers arkiv side

29. september 2017

Adam Omvej

Jeg står i det, der snart skal være verdens centrum, eller måske bare er et meget stort rum på syvende sal i et skinnende tårn i Torontos centrum. Jordan Jacobs, der er med til at stifte dette sted, viser mig rundt: det spirende Vector Institute, som åbner sine døre til efteråret, og som sigter mod at blive det globale epicenter for kunstig intelligens.

Vi er i Toronto, fordi Geoffrey Hinton er i Toronto, og Geoffrey Hinton er faderen til deep learning, teknikken bag den aktuelle begejstring omkring AI. Om 30 år vil vi se tilbage og sige, at Geoff er Einstein – af AI, dyb læring, det, vi kalder AI, siger Jacobs. Af forskerne i toppen af ​​feltet for deep learning har Hinton flere citater end de næste tre tilsammen. Hans studerende og postdocs har kørt AI-laboratorierne hos Apple, Facebook og OpenAI; Hinton er selv en ledende videnskabsmand på Google Brain AI-teamet. Faktisk sporer næsten alle præstationer i det sidste årti af kunstig intelligens – i oversættelse, talegenkendelse, billedgenkendelse og spil – på en eller anden måde tilbage til Hintons arbejde.

Denne historie var en del af vores november 2017-udgave

• Se resten af ​​problemet
• Abonner

Vector Institute, dette monument til opstigningen af ​​Hintons ideer, er et forskningscenter, hvor virksomheder fra hele USA og Canada – som Google og Uber og Nvidia – vil sponsorere bestræbelser på at kommercialisere AI-teknologier. Pengene er strømmet ind hurtigere, end Jacobs kunne bede om dem; to af hans medstiftere undersøgte virksomheder i Toronto-området, og efterspørgslen efter AI-eksperter endte med at være 10 gange, hvad Canada producerer hvert år. Vector er på en måde ground zero for det nu verdensomspændende forsøg på at mobilisere omkring dyb læring: at tjene penge på teknikken, at lære den, at forfine og anvende den. Datacentre bliver bygget, tårne ​​bliver fyldt med startups, en hel generation af studerende skal i felten.

Indtrykket du får stående på Vector-gulvet, bar og ekko og ved at blive fyldt, er, at du er ved begyndelsen af ​​noget. Men det ejendommelige ved dyb læring er, hvor gamle dens nøgleideer er. Hintons banebrydende papir, med kollegerne David Rumelhart og Ronald Williams, blev udgivet i 1986. Papiret uddybede en teknik kaldet backpropagation, eller forkortet backprop. Backprop, med Jon Cohens ord, en beregningspsykolog ved Princeton, er, hvad al dyb læring er baseret på - bogstaveligt talt alt.

Når du koger det ned, er AI i dag dyb læring, og deep learning er backprop – hvilket er fantastisk, i betragtning af at backprop er mere end 30 år gammelt. Det er værd at forstå, hvordan det skete - hvordan en teknik kunne ligge og vente så længe og derefter forårsage en sådan eksplosion - for når du først forstår historien om backprop, vil du begynde at forstå det aktuelle øjeblik i AI, og især det faktum at vi måske faktisk ikke er ved begyndelsen af ​​en revolution. Måske er vi i slutningen af ​​en.

Retfærdiggørelse

Gåturen fra Vector Institute til Hintons kontor hos Google, hvor han tilbringer det meste af sin tid (han er nu emeritusprofessor ved University of Toronto), er en slags levende reklame for byen, i hvert fald om sommeren. Du kan forstå, hvorfor Hinton, der oprindeligt er fra Storbritannien, flyttede hertil i 1980'erne efter at have arbejdet på Carnegie Mellon University i Pittsburgh.

Når du træder udenfor, selv i centrum nær finansdistriktet, føler du, at du faktisk er gået ud i naturen. Det er lugten, tænker jeg: vådt muldjord i luften. Toronto blev bygget på toppen af ​​skovklædte kløfter, og det siges at være en by i en park; da det er blevet urbaniseret, har den lokale regering fastsat strenge restriktioner for at vedligeholde trækronen. Når du flyver ind, ser de ydre dele af byen næsten tegneserieagtigt frodig ud.

Måske er vi faktisk ikke i begyndelsen af ​​en revolution.

Toronto er den fjerdestørste by i Nordamerika (efter Mexico City, New York og L.A.), og dens mest forskelligartede: mere end halvdelen af ​​befolkningen er født uden for Canada. Du kan se det gå rundt. Publikum i teknologikorridoren ser mindre San Francisco ud – unge hvide fyre i hættetrøjer – og mere internationale. Der er gratis sundhedspleje og gode folkeskoler, folk er venlige, og den politiske orden er relativt venstreorienteret og stabil; og denne ting tiltrækker folk som Hinton, der siger, at han forlod USA på grund af Iran-Contra-affæren. Det er en af ​​de første ting, vi taler om, når jeg går for at møde ham, lige før frokost.

De fleste hos CMU mente, at det var helt rimeligt, at USA invaderer Nicaragua, siger han. De troede på en eller anden måde, at de ejede det. Han fortæller mig, at han for nylig havde et stort gennembrud på et projekt: at få en meget god junioringeniør, der arbejder sammen med mig, en kvinde ved navn Sara Sabour. Sabour er iransk, og hun fik afslag på visum til at arbejde i USA. Googles kontor i Toronto hentede hende.

Hinton, som er 69 år gammel, har det venlige, magre, engelsk udseende ansigt som Big Friendly Giant, med en tynd mund, store ører og en stolt næse. Han blev født i Wimbledon, England, og lyder, når han taler, som fortælleren i en børnebog om videnskab: nysgerrig, engagerende, ivrig efter at forklare tingene. Han er sjov og lidt af en showman. Han står hele tiden, vi taler, fordi det viser sig, at det er for smertefuldt at sidde. Jeg satte mig ned i juni 2005, og det var en fejl, fortæller han, og lod den bizarre linje lande, før han forklarer, at en disk i ryggen giver ham problemer. Det betyder, at han ikke kan flyve, og tidligere på dagen var han nødt til at bringe en ting, der lignede et surfbræt, til tandlægekontoret, så han kunne ligge på det, mens han fik undersøgt en revnet tandrod.

I 1980'erne var Hinton, som han er nu, ekspert i neurale netværk, en meget forenklet model af netværket af neuroner og synapser i vores hjerner. Men på det tidspunkt var det blevet bestemt, at neurale netværk var en blindgyde i AI-forskning. Selvom det tidligste neurale net, Perceptron, som begyndte at blive udviklet i 1950'erne, var blevet hyldet som et første skridt mod maskinintelligens på menneskeligt niveau, kaldes en bog fra 1969 af MIT's Marvin Minsky og Seymour Papert. Perceptroner , beviste matematisk, at sådanne netværk kun kunne udføre de mest basale funktioner. Disse netværk havde kun to lag af neuroner, et inputlag og et outputlag. Net med flere lag mellem input- og outputneuronerne kunne i teorien løse en lang række problemer, men ingen vidste, hvordan de skulle trænes, og så i praksis var de ubrugelige. Bortset fra nogle få holdouts som Hinton, Perceptroner fik de fleste til at give helt op på neurale net.

Hintons gennembrud i 1986 var at vise, at backpropagation kunne træne et dybt neuralt net, hvilket betyder et med mere end to eller tre lag. Men det tog yderligere 26 år, før den øgede beregningskraft gjorde noget ved opdagelsen. Et papir fra 2012 af Hinton og to af hans Toronto-studerende viste, at dybe neurale net, trænet ved hjælp af tilbageudbredelse, slog avancerede systemer inden for billedgenkendelse. Dyb læring tog fart. For omverdenen så det ud til, at AI vågnede natten over. For Hinton var det en udbetaling, der længe ventede.

Virkelighedsforvrængningsfelt

Et neuralt net er normalt tegnet som en club sandwich, med lag stablet oven på hinanden. Lagene indeholder kunstige neuroner, som er dumme små beregningsenheder, der bliver ophidset - sådan som en rigtig neuron bliver ophidset - og sender den ophidselse videre til de andre neuroner, de er forbundet med. En neurons ophidselse er repræsenteret af et tal, såsom 0,13 eller 32,39, der siger, hvor ophidset den er. Og der er et andet afgørende tal, på hver af forbindelserne mellem to neuroner, der bestemmer, hvor meget spænding der skal overføres fra den ene til den anden. Det tal er beregnet til at modellere styrken af ​​synapserne mellem neuroner i hjernen. Når tallet er højere, betyder det, at forbindelsen er stærkere, så mere af den enes begejstring flyder til den anden.

Et diagram fra banebrydende arbejde om fejludbredelse af Hinton, David Rumelhart og Ronald Williams.

En af de mest succesrige anvendelser af dybe neurale net er billedgenkendelse - som i den mindeværdige scene i HBO's Silicon Valley hvor holdet bygger et program, der kan fortælle, om der er en hotdog på et billede. Sådanne programmer findes faktisk, og de ville ikke have været mulige for ti år siden. For at få dem til at arbejde er det første skridt at få et billede. Lad os sige, at det for nemheds skyld er et lille sort-hvidt billede, der er 100 pixels bredt og 100 pixels højt. Du føder dette billede til dit neurale net ved at indstille spændingen for hver simuleret neuron i inputlaget, så den er lig med lysstyrken af ​​hver pixel. Det er det nederste lag af club sandwich: 10.000 neuroner (100x100), der repræsenterer lysstyrken af ​​hver pixel i billedet.

Du forbinder så dette store lag af neuroner til et andet stort lag af neuroner over det, f.eks. et par tusinde, og disse igen til et andet lag af et par tusinde neuroner, og så videre i et par lag. Endelig, i det øverste lag af sandwichen, outputlaget, har du kun to neuroner - den ene repræsenterer hotdog og den anden repræsenterer ikke hotdog. Ideen er at lære det neurale netværk kun at excitere den første af disse neuroner, hvis der er en hotdog på billedet, og kun den anden, hvis der ikke er. Backpropagation - den teknik, som Hinton har bygget sin karriere på - er metoden til at gøre dette.

Backprop er bemærkelsesværdigt simpelt, selvom det fungerer bedst med enorme mængder data. Det er derfor, big data er så vigtigt i kunstig intelligens – hvorfor Facebook og Google er så sultne efter det, og hvorfor Vector Institute besluttede at etablere en butik nede ad gaden fra fire af Canadas største hospitaler og udvikle datapartnerskaber med dem.

I dette tilfælde tager dataene form af millioner af billeder, nogle med hotdogs og nogle uden; Tricket er, at disse billeder er mærket, som har hotdogs. Når du først opretter dit neurale net, kan forbindelserne mellem neuroner have tilfældige vægte - tilfældige tal, der siger, hvor meget spænding der skal sendes langs hver forbindelse. Det er, som om hjernens synapser ikke er blevet indstillet endnu. Målet med backprop er at ændre disse vægte, så de får netværket til at fungere: så når du sender et billede af en hotdog til det laveste lag, ender det øverste lags hotdogneuron med at blive ophidset.

Antag, at du tager dit første træningsbillede, og det er et billede af et klaver. Du konverterer pixelintensiteterne af 100x100-billedet til 10.000 tal, et for hver neuron i det nederste lag af netværket. Efterhånden som spændingen spreder sig i netværket i henhold til forbindelsesstyrkerne mellem neuroner i tilstødende lag, ender den til sidst i det sidste lag, det med de to neuroner, der siger, om der er en hotdog på billedet. Da billedet er af et klaver, skal hotdogneuronen ideelt set have et nul på sig, mens den ikke hotdogneuron skal have et højt tal. Men lad os sige, at det ikke fungerer sådan. Lad os sige, at netværket er forkert på dette billede. Backprop er en procedure til at ændre styrken af ​​hver forbindelse i netværket for at rette fejlen for et givet træningseksempel.

Måden det fungerer på er, at du starter med de sidste to neuroner og finder ud af, hvor forkerte de var: Hvor stor forskel er der på, hvad spændingsnumrene skulle have været, og hvad de faktisk var? Når det er gjort, tager du et kig på hver af de forbindelser, der fører ind i disse neuroner - dem i det næste lavere lag - og finder ud af deres bidrag til fejlen. Du bliver ved med at gøre dette, indtil du er gået hele vejen til det første sæt forbindelser, helt nederst på netværket. På det tidspunkt ved du, hvor meget hver enkelt forbindelse bidrog til den samlede fejl, og i et sidste trin ændrer du hver af vægtene i den retning, der bedst reducerer fejlen samlet set. Teknikken kaldes backpropagation, fordi du spreder fejl tilbage (eller ned) gennem netværket, startende fra outputtet.

Det utrolige er, at når du gør dette med millioner eller milliarder af billeder, begynder netværket at blive ret godt til at sige, om et billede har en hotdog i sig. Og hvad der er endnu mere bemærkelsesværdigt er, at de enkelte lag af disse billedgenkendelsesnet begynder at kunne se billeder på samme måde som vores eget visuelle system gør. Det vil sige, at det første lag kan ende med at opdage kanter, i den forstand at dets neuroner bliver ophidset, når der er kanter og ikke bliver ophidset, når der ikke er; laget over det kan man måske opdage sæt af kanter, som hjørner; laget over det kan man begynde at se former; og laget over det kan man begynde at finde ting som åben bolle eller lukket bolle, i betydningen at have neuroner, der reagerer på begge tilfælde. Nettet organiserer sig med andre ord i hierarkiske lag uden nogensinde at være blevet eksplicit programmeret på den måde.

En rigtig intelligens går ikke i stykker, når du ændrer problemet lidt.

Det er det, der har alle begejstret. Det er ikke kun, at neurale net er gode til at klassificere billeder af hotdogs eller hvad som helst: de synes i stand til at bygge repræsentationer af ideer. Med tekst kan du se dette endnu tydeligere. Du kan føre teksten fra Wikipedia, mange milliarder af ord lang, ind i et simpelt neuralt net, og træne det til at spytte ud, for hvert ord, en stor liste af tal, der svarer til spændingen for hver neuron i et lag. Hvis du tænker på hvert af disse tal som en koordinat i et komplekst rum, så er det, du gør, at finde et punkt, kendt i denne sammenhæng som en vektor, for hvert ord et sted i det rum. Træn nu dit netværk på en sådan måde, at ord, der vises i nærheden af ​​hinanden på Wikipedia-sider, ender med lignende koordinater, og voilà, der sker noget skørt: ord, der har lignende betydninger, begynder at dukke op i nærheden af ​​hinanden i rummet. Det vil sige, at sindssyge og uhængte vil have koordinater tæt på hinanden, ligesom tre og syv, og så videre. Desuden gør såkaldt vektoraritmetik det muligt at for eksempel trække vektoren for Frankrig fra vektoren for Paris, tilføje vektoren for Italien og ende i nabolaget af Rom. Det fungerer, uden at nogen udtrykkeligt fortæller netværket, at Rom er for Italien, som Paris er for Frankrig.

Det er fantastisk, siger Hinton. Det er chokerende. Neurale net kan opfattes som et forsøg på at tage ting - billeder, ord, optagelser af nogen, der taler, medicinske data - og sætte dem ind i, hvad matematikere kalder et højdimensionelt vektorrum, hvor tingenes nærhed eller afstand afspejler nogle vigtige egenskaber. af den faktiske verden. Hinton mener, at dette er, hvad hjernen selv gør. Hvis du vil vide, hvad en tanke er, siger han, så kan jeg udtrykke det for dig i en perlerække af ord. Jeg kan sige ’John tænkte, Ups.’ Men hvis du spørger: ’Hvad er tanken? Hvad betyder det for John at have den tanke?’ Det er ikke sådan, at der inde i hans hoved er et åbningscitat og et ’Upps’ og et afsluttende citat, eller endda en oprenset version af det. Inde i hans hoved er der et stort mønster af neural aktivitet. Store mønstre af neural aktivitet, hvis du er matematiker, kan fanges i et vektorrum, hvor hver neurons aktivitet svarer til et tal, og hvert tal til en koordinat af en virkelig stor vektor. Efter Hintons opfattelse er det, hvad tanken er: en dans af vektorer.

Geoffrey Hinton med tilladelse fra google

Det er ikke tilfældigt, at Torontos flagskib AI-institution blev opkaldt efter dette faktum. Hinton var den, der fandt på navnet Vector Institute.

Der er en slags virkelighedsforvrængningsfelt, som Hinton skaber, en luft af sikkerhed og entusiasme, der giver dig følelsen af, at der ikke er noget, som vektorer ikke kan gøre. Når alt kommer til alt, se på, hvad de allerede har været i stand til at producere: biler, der kører sig selv, computere, der registrerer kræft, maskiner, der øjeblikkeligt oversætter talesprog. Og se på denne charmerende britiske videnskabsmand, der taler om gradientnedstigning i højdimensionelle rum!

Det er først, når du forlader rummet, du husker: disse dybe læringssystemer er stadig ret dumme, på trods af hvor smarte de nogle gange virker. En computer, der ser et billede af en bunke donuts stablet op på et bord og automatisk undertekster det, som en bunke donuts stablet på et bord ser ud til at forstå verden; men når det samme program ser et billede af en pige, der børster tænder og siger, at drengen holder et baseballbat, indser du, hvor tynd den forståelse egentlig er, hvis den overhovedet var der.

Neurale net er blot ubetænksomme fuzzy mønstergenkendere, og lige så nyttige som fuzzy mønstergenkendere kan være - derfor hastværket med at integrere dem i næsten enhver form for software - repræsenterer de i bedste fald et begrænset mærke af intelligens, en der let kan snydes . Et dybt neuralt net, der genkender billeder, kan blive fuldstændig forhindret, når du ændrer en enkelt pixel, eller tilføjer visuel støj, der er umærkelig for et menneske. Faktisk, næsten lige så ofte som vi finder nye måder at anvende dyb læring på, finder vi flere af dens grænser. Selvkørende biler kan undlade at navigere i forhold, de aldrig har set før. Maskiner har problemer med at analysere sætninger, der kræver sund fornuft forståelse af, hvordan verden fungerer.

Dyb læring efterligner på nogle måder, hvad der foregår i den menneskelige hjerne, men kun på en overfladisk måde - hvilket måske forklarer, hvorfor dens intelligens nogle gange kan virke så overfladisk. Faktisk blev backprop ikke opdaget ved at sondere dybt ind i hjernen, afkode selve tanken; det voksede ud af modeller for, hvordan dyr lærer ved forsøg og fejl i gamle klassiske konditioneringseksperimenter. Og de fleste af de store spring, der skete, efterhånden som det udviklede sig, involverede ikke en eller anden ny indsigt om neurovidenskab; de var tekniske forbedringer, nået af mange års matematik og teknik. Det, vi ved om intelligens, er intet imod omfanget af det, vi stadig ikke ved.

David Duvenaud, en assisterende professor i samme afdeling som Hinton ved University of Toronto, siger, at dyb læring har været lidt som ingeniørkunst før fysik. Nogen skriver et papir og siger: 'Jeg lavede den her bro, og den rejste sig!' En anden fyr har et papir: 'Jeg lavede denne bro, og den faldt ned - men så tilføjede jeg søjler, og så blev den oppe.' en varm ny ting. Nogen kommer op med buer, og det er sådan: ’Arches er fantastiske!’ Med fysik, siger han, kan man faktisk forstå, hvad der kommer til at virke og hvorfor. Først for nylig, siger han, er vi begyndt at bevæge os ind i den fase af egentlig forståelse med kunstig intelligens.

Hinton siger selv: De fleste konferencer består af at lave mindre variationer ... i modsætning til at tænke hårdt og sige: 'Hvad er det ved det, vi laver nu, der virkelig er mangelfuldt? Hvad har den svært ved? Lad os fokusere på det.'

Det kan være svært at værdsætte dette udefra, når alt, hvad du ser, er det ene store fremskridt, der udråbes efter det andet. Men det seneste fremskridt inden for kunstig intelligens har været mindre videnskab end ingeniørarbejde, ja endda manipulation. Og selvom vi er begyndt at få bedre styr på, hvilke typer ændringer der vil forbedre deep-learning-systemer, er vi stadig stort set i mørket om, hvordan disse systemer fungerer, eller om de nogensinde kunne blive til noget så kraftfuldt som menneskesind.

Det er værd at spørge, om vi har vristet næsten alt, hvad vi kan, ud af rygstøtten. Hvis det er tilfældet, kan det betyde et plateau for fremskridt inden for kunstig intelligens.

Tålmodighed

Hvis du vil se den næste store ting, noget der kunne danne grundlag for maskiner med en meget mere fleksibel intelligens, bør du nok tjekke forskning, der ligner det, du ville have fundet, hvis du havde stødt på backprop i 80'erne: smarte mennesker tilslutter sig ideer, der ikke rigtig virker endnu.

For et par måneder siden tog jeg til Center for Minds, Brains and Machines, en multi-institutionel indsats med hovedkvarter på MIT, for at se en af ​​mine venner, Eyal Dechter, forsvare sin afhandling i kognitiv videnskab. Lige før snakken startede, var hans kone Amy, deres hund Ruby og deres datter Susannah rundt og ønskede ham held og lykke. På skærmen var et billede af Ruby, og ved siden af ​​et af Susannah som baby. Da far bad Susannah om at pege på sig selv, slog hun glad en lang udtrækbar pegestang mod sit eget babybillede. På vej ud af værelset kørte hun en legetøjsklapvogn bag sin mor og råbte Held og lykke, far! over hendes skulder. Vámanos! sagde hun endelig. Hun er to.

At det ikke virker er bare en midlertidig irritation.

Eyal startede sin tale med et forførende spørgsmål: Hvordan kan det være, at Susannah efter to års erfaring kan lære at tale, at lege, at følge historier? Hvad er det ved den menneskelige hjerne, der får den til at lære så godt? Vil en computer nogensinde være i stand til at lære så hurtigt og så flydende?

Vi forstår nye fænomener i form af ting, vi allerede forstår. Vi deler et domæne ned i stykker og lærer stykkerne. Eyal er matematiker og computerprogrammør, og han tænker på opgaver – som at lave en soufflé – som virkelig komplekse computerprogrammer. Men det er ikke sådan, at du lærer at lave en soufflé ved at lære hver eneste af programmets zillion mikro-instruktioner, såsom Roter din albue 30 grader, så kig ned på bordpladen, stræk derefter pegefingeren ud, så … Hvis du skulle gøre at for hver ny opgave ville læring være for hårdt, og du ville sidde fast med det, du allerede ved. I stedet caster vi programmet i form af trin på højt niveau, som Pisk æggehviderne, som selv er sammensat af underprogrammer, som Knæk æggene og Skil æggeblommerne ud.

Relateret historie

Relateret historie Ingen ved rigtigt, hvordan de mest avancerede algoritmer gør, hvad de gør. Det kunne være et problem.

Computere gør ikke dette, og det er en stor del af grunden til, at de er dumme. For at få et dybt læringssystem til at genkende en hotdog, skal du muligvis fodre den med 40 millioner billeder af hotdogs. For at få Susannah til at genkende en hotdog, viser du hende en hotdog. Og inden længe vil hun have en sprogforståelse, der går dybere end at erkende, at visse ord ofte optræder sammen. I modsætning til en computer vil hun have en model i sit sind om, hvordan hele verden fungerer. Det er lidt utroligt for mig, at folk er bange for, at computere tager job, siger Eyal. Det er ikke sådan, at computere ikke kan erstatte advokater, fordi advokater laver virkelig komplicerede ting. Det er fordi advokater læser og taler med folk. Det er ikke sådan, at vi er tæt på. Vi er så langt.

En rigtig intelligens går ikke i stykker, når du lidt ændrer kravene til det problem, den forsøger at løse. Og den centrale del af Eyals afhandling var hans demonstration i princippet af, hvordan du kan få en computer til at fungere på den måde: flydende at anvende det, den allerede kender til nye opgaver, for hurtigt at starte sig vej fra næsten ingenting at vide om et nyt domæne at være ekspert.

Hinton lavede denne skitse til sin næste store idé, at organisere neurale net med 'kapsler'.

I bund og grund er det en procedure, han kalder udforskning-kompressionsalgoritmen. Det får en computer til at fungere lidt som en programmør, der opbygger et bibliotek af genanvendelige, modulære komponenter på vej til at bygge flere og mere komplekse programmer. Uden at blive fortalt noget om et nyt domæne, forsøger computeren at strukturere viden om det bare ved at lege, konsolidere det, det har fundet, og lege lidt mere, som et menneskebarn gør.

Hans rådgiver, Joshua Tenenbaum, er en af ​​de mest citerede forskere inden for kunstig intelligens. Tenenbaums navn dukkede op i halvdelen af ​​de samtaler, jeg havde med andre videnskabsmænd. Nogle af nøglepersonerne hos DeepMind – holdet bag AlphaGo, som chokerede computerforskere ved at slå en verdensmesterspiller i det komplekse spil Go i 2016 – havde arbejdet som hans postdocs. Han er involveret i en startup, der forsøger at give selvkørende biler en vis intuition om grundlæggende fysik og andre chaufførers intentioner, så de bedre kan forudse, hvad der ville ske i en situation, de aldrig har set før, som når en lastbil slår knive foran dem, eller når nogen forsøger at fusionere meget aggressivt.

Eyals afhandling er endnu ikke udmøntet i den slags praktiske anvendelser, endsige programmer, der ville skabe overskrifter for at blive bedst til et menneske. De problemer, Eyal arbejder på, er bare virkelig, virkelig hårde, sagde Tenenbaum. Det kommer til at tage mange, mange generationer.

Tenenbaum har langt, krøllet, hvidtende hår, og da vi satte os til kaffe havde han en button-down skjorte på med sorte slacks. Han fortalte mig, at han ser på historien om backprop for inspiration. I årtier var backprop cool matematik, der ikke rigtig udrettede noget. Efterhånden som computere blev hurtigere, og teknikken blev mere sofistikeret, gjorde den det pludselig. Han håber, at det samme kan ske med hans eget arbejde og hans elevers, men det kan tage endnu et par årtier.

Med hensyn til Hinton er han overbevist om, at overvindelse af AI's begrænsninger involverer at bygge en bro mellem datalogi og biologi. Backprop var efter denne opfattelse en triumf af biologisk inspireret beregning; ideen kom oprindeligt ikke fra ingeniørvidenskab, men fra psykologi. Så nu forsøger Hinton at lave et lignende trick.

Neurale netværk i dag er lavet af store flade lag, men i den menneskelige neocortex er rigtige neuroner arrangeret ikke bare vandret i lag, men lodret i søjler. Hinton tror, ​​at han ved, hvad søjlerne er til - i synet er de for eksempel afgørende for vores evne til at genkende objekter, selvom vores synspunkt ændrer sig. Så han bygger en kunstig version - han kalder dem kapsler - for at teste teorien. Indtil videre er det ikke lykkedes; kapslerne har ikke forbedret hans nets ydeevne dramatisk. Men dette var den samme situation, som han havde været i med rygstøtte i næsten 30 år.

Det her skal bare være rigtigt, siger han om kapselteorien og griner af sin egen dristighed. Og det, at det ikke virker, er bare en midlertidig irritation.

James Somers er forfatter og programmør baseret i New York City. Hans tidligere artikel for MIT Technology Review var Toolkits for the Mind i maj/juni 2015, som viste, hvordan internetstartups formes af de programmeringssprog, de bruger.

skjule