211service.com
Hvordan AI kan blive ved med at accelerere efter Moores lov
Nye ideer inden for chipdesign ser ud til at holde softwaren smartere. 30. maj 2017
Andrea Chronopoulos
Googles administrerende direktør Sundar Pichai var tydeligvis begejstret, da han talte med udviklere om et blockbuster-resultat fra hans maskinlæringslaboratorium tidligere på måneden. Forskere havde fundet ud af, hvordan man kunne automatisere noget af arbejdet med at lave maskinlæringssoftware, noget der kunne gøre det meget nemmere at implementere teknologien i nye situationer og industrier.
Men projektet havde allerede fået et ry blandt AI-forskere af en anden grund: den måde, det illustrerede de enorme computerressourcer, der er nødvendige for at konkurrere på forkant med maskinlæring.
Et papir fra Googles forskere siger, at de samtidig brugte så mange som 800 af de kraftfulde og dyre grafikprocessorer, der har været afgørende for den seneste stigning i kraften ved maskinlæring (se 10 Breakthrough Technologies 2013: Deep Learning). De fortalte MIT Technology Review at projektet havde bundet hundredvis af chipsene i to uger, hvilket gjorde teknikken for ressourcekrævende til at være mere end et forskningsprojekt selv hos Google.
En koder uden let adgang til en kæmpe samling af GPU'er ville have brug for dybe lommer for at replikere eksperimentet. At leje 800 GPU'er fra Amazons cloud computing-tjeneste i kun en uge ville koste omkring $120.000 til de angivne priser.
Andrea Chronopoulos
At føre data ind i deep learning-software for at træne dem til en bestemt opgave er meget mere ressourcekrævende end at køre systemet bagefter, men det kræver stadig et betydeligt pust. Computerkraft er en flaskehals lige nu for maskinlæring, siger Reza Zadeh , en adjungeret professor ved Stanford University og grundlægger og administrerende direktør af Matroid , en startup, der hjælper virksomheder med at bruge software til at identificere objekter som biler og mennesker i sikkerhedsoptagelser og anden video.
Den pludselige tørst efter ny kraft til at drive AI kommer på et tidspunkt, hvor computerindustrien er ved at tilpasse sig tabet af to ting, den har stolet på i 50 år for at holde chips ved at blive mere kraftfulde. Den ene er Moores lov, som forudsagde, at antallet af transistorer, der kunne monteres i et givet område af en chip, ville fordobles hvert andet år. Den anden er et fænomen kaldet Dennard-skalering, som beskriver, hvordan mængden af strøm, som transistorer bruger, skaleres ned, når de krymper.
Ingen af delene gælder i dag. Intel har bremset tempoet, hvormed de introducerer generationer af nye chips med mindre, tættere transistorer (se Moores lov er død. Hvad nu?). Og de sædvanlige effektivitetsgevinster, som transistorer viste, da de blev mindre, gik i stå i midten af 2000'erne, hvilket gjorde strømforbruget til en stor hovedpine.
Den gode nyhed for dem, der satser på AI, er, at grafikchips indtil videre har formået at trodse tyngdekraften. På den nylige konference for den førende grafikchipproducent Nvidia viste CEO Jensen Huang et diagram, der viser, hvordan hans chipss ydeevne er blevet ved med at accelerere eksponentielt, mens væksten i ydeevnen af processorer til generelle formål, eller CPU'er, er aftaget.
Doug Burger, en fremtrædende ingeniør hos Microsofts NExT-afdeling, der arbejder på at kommercialisere ny teknologi, siger, at en lignende kløft åbner sig mellem konventionel og maskinlæringssoftware. Du begynder at se et [ydeevne] plateau for generel software – det er holdt op med at forbedre sig med historiske hastigheder – men disse AI-ting stiger stadig hurtigt, siger han.
Den tendens tror Burger vil fortsætte. Ingeniører har holdt GPU'er mere kraftfulde, fordi de kan være mere specialiserede til den særlige matematik, de skal udføre til grafik eller maskinlæring, siger han.
Den samme idé ligger bag et projekt, Burger ledet hos Microsoft, som sætter mere kraft bag AI-software ved at bruge rekonfigurerbare chips kaldet FPGA'er. Det motiverer også startups – og giganter som Google – til at skabe nye chips, der er tilpasset til at drive maskinlæring (se Google afslører en kraftfuld ny AI-chip og supercomputer).
På længere sigt vil der kræves mere radikale ændringer i, hvordan computerchips fungerer, for at AI bliver mere kraftfuld. At skabe chips, der ikke tilføjer nøjagtigt, er en mulighed. Prototyper har vist, at de kan gøre computere mere effektive uden at underminere nøjagtigheden af resultater fra maskinlæringssoftware (se Hvorfor en chip, der er dårlig til matematik, kunne hjælpe computere med at tackle sværere problemer).
Chipdesign, der direkte kopierer fra biologien, kunne også være afgørende. IBM og andre har bygget prototypechips, der beregner ved hjælp af strømspidser, svarende til hvordan vores neuroner affyrer (se Thinking in Silicon). Selv simple dyr, påpeger Burger, bruger lidt energi på at gøre ting ud over, hvad nutidens robotter og software kan udrette - beviser på, at computere har meget længere at gå.
Se på den beregning en kakerlak laver, siger han. Der er eksistensbeviser, der viser, at mange flere størrelsesordener af ydeevne og effektivitet er tilgængelige. Vi kan have årtiers skalering tilbage i AI.