211service.com
Den næste AI-eksplosion vil blive defineret af de chips, vi bygger til den
Jeremy Portje
Hardwaredesign i stedet for algoritmer vil hjælpe os med at opnå det næste store gennembrud inden for AI. Det siger Bill Dally, Nvidias chefforsker, der tirsdag indtog scenen på EmTech Digital, MIT Technology Review's AI-konference. Vores nuværende revolution inden for deep learning er blevet aktiveret af hardware, sagde han.
Som bevis pegede han på feltets historie: mange af de algoritmer, vi bruger i dag, har eksisteret siden 1980'erne, og gennembruddet med at bruge store mængder mærkede data til at træne neurale netværk kom i begyndelsen af 2000'erne. Men det var først i begyndelsen af 2010'erne - da grafikbehandlingsenheder eller GPU'er kom ind i billedet - at den dybe læringsrevolution for alvor tog fart.
Vi er nødt til at fortsætte med at levere mere dygtig hardware, ellers vil fremskridt inden for AI virkelig bremse, sagde Dally.
Nvidia udforsker nu tre hovedveje frem: udvikling af mere specialiserede chips; reduktion af den beregning, der kræves under dyb læring; og eksperimenterer med analog snarere end digital chip-arkitektur.
Nvidia har fundet ud af, at højt specialiserede chips designet til en specifik beregningsopgave kan overgå GPU-chips, der er gode til at håndtere mange forskellige slags beregninger. Forskellen, sagde Dally, kunne være så meget som en 20% stigning i effektiviteten for det samme præstationsniveau.
Dally refererede også til en undersøgelse, som Nvidia lavede for at teste potentialet ved beskæring - ideen om, at du kan reducere antallet af beregninger, der skal udføres under træning, uden at ofre en dyb-læringsmodels nøjagtighed. Forskere ved virksomheden fandt ud af, at de var i stand til at springe omkring 90 % af disse beregninger over, mens de bibeholdt den samme indlæringsnøjagtighed. Det betyder, at de samme læringsopgaver kan finde sted ved brug af meget mindre chiparkitekturer.
Til sidst nævnte Dally, at Nvidia nu eksperimenterer med analog beregning. Computere gemmer næsten al information, inklusive tal, som en serie af 0 s eller en s. Men analog beregning ville tillade alle mulige værdier - såsom 0,3 eller 0,7 - at blive kodet direkte. Det burde låse op for meget mere effektiv beregning, fordi tal kan repræsenteres mere kortfattet, selvom Dally sagde, at hans team i øjeblikket ikke er sikker på, hvordan analog vil passe ind i fremtiden for chipdesign.
Naveen Rao, corporate vice president og general manager for AI Products Group hos Intel, indtog også scenen og sammenlignede vigtigheden af AI-hardwareevolutionen med den rolle, som evolutionen spillede i biologien. Rotter og mennesker, sagde han, er divergerende i evolution med en tidsskala på et par hundrede millioner år. På trods af stærkt forbedrede muligheder har mennesker dog de samme grundlæggende computerenheder som deres gnavere.
Det samme princip gælder, når det kommer til chipdesign, sagde Rao. Enhver chip – hvad enten den er specialiseret eller fleksibel, digital eller analog, optisk eller på anden måde – er simpelthen et substrat til kodning og manipulation af information. Men afhængigt af hvordan det substrat er designet, kan det være forskellen mellem en rottes og et menneskes evner.
Insekter, ligesom rotter, sagde han, er også bygget med de samme grundlæggende enheder som mennesker. Men insekter har faste arkitekturer, mens mennesker har mere fleksible. Ingen af dem, hævdede han, er den anden overlegen, men de har tydeligvis udviklet sig til at passe til forskellige formål. Insekter kan sandsynligvis overleve en atomkrig, mens mennesker har meget mere sofistikerede evner.
Igen kan disse principper anvendes til chipdesign. Efterhånden som vi bringer flere smarte enheder online, vil det ikke altid give mening at sende deres data til skyen for at blive behandlet gennem en deep-learning-model. I stedet kan det give mening at køre en lille, effektiv deep-learning-model på selve enheden. Denne idé, kendt som AI på kanten, kunne drage fordel af specialiserede, faste chiparkitekturer, der er mere effektive. Datacentre, der driver AI i skyen, ville på den anden side køre på fuldt fleksible og programmerbare chiparkitekturer for at håndtere et meget bredere spektrum af læringsopgaver.
Rao bemærkede, at uanset hvilke chipdesign Intel og Nvidia beslutter sig for at forfølge, vil effekten på udviklingen af AI være betydelig. Gennem historien har individuelle civilisationer udviklet sig på meget forskellige måder på grund af de unikke materialer til deres rådighed. Ligeledes vil de operationer, som Intel og Nvidia gør lettere gennem forskellige chipdesigns, i høj grad påvirke den slags læringsopgaver, AI-fællesskabet vil forfølge.
Vi er i denne hurtige prækambriske eksplosion [for chiparkitekturer] lige nu, sagde Rao, og ikke alle løsninger vil vinde.