Opstarten gør dyb læring mulig uden specialiseret hardware

Neural magi

Opdagelsen, der fik Nir Shavit til at starte et firma, kom på den måde, de fleste opdagelser gør: ved et uheld. MIT-professoren arbejdede på et projekt for at rekonstruere et kort over en muses hjerne og havde brug for hjælp fra dyb læring. Uden at vide, hvordan man programmerer grafikkort eller GPU'er, det mest almindelige hardwarevalg for modeller med dyb indlæring, valgte han i stedet for en central processorenhed eller CPU, den mest generiske computerchip, der findes i enhver almindelig bærbar computer.

Se og se, husker Shavit, jeg indså, at en CPU kan gøre, hvad en GPU gør – hvis den er programmeret på den rigtige måde.

Denne indsigt er nu grundlaget for hans startup, Neural Magic, som lancerede sin første suite af produkter i dag. Ideen er at give enhver virksomhed mulighed for at implementere en deep-learning-model uden behov for specialiseret hardware. Det ville ikke kun sænke omkostningerne ved deep learning, men også gøre AI mere tilgængelig.

Dette ville betyde, at du kunne bruge neurale netværk på mange flere maskiner og mange flere eksisterende maskiner, siger Neil Thompson, en forsker ved MIT's Computer Science and Artificial Intelligence Laboratory, som ikke er involveret i Neural Magic. Du behøver ikke at opgradere til noget særligt.

GPU'er blev den foretrukne hardware til dyb læring, stort set ved en tilfældighed. Chipsene blev oprindeligt designet til hurtigt at gengive grafik i applikationer som videospil. I modsætning til CPU'er, som har fire til otte komplekse kerner til at udføre en række forskellige beregninger, har GPU'er hundredvis af simple kerner, der kun kan udføre specifikke operationer - men kernerne kan tackle deres operationer på samme tid i stedet for den ene efter den anden, hvilket formindsker tiden det tager at gennemføre en intensiv beregning.

Det tog ikke lang tid for AI-forskersamfundet at indse, at denne massive parallelisering også gør GPU'er gode til dyb læring. Ligesom grafikgengivelse involverer dyb læring simple matematiske beregninger udført hundredtusindvis af gange. I 2011, i et samarbejde med chipproducenten Nvidia, Google fundet at en computervisionsmodel, den havde trænet på 2.000 CPU'er for at skelne katte fra mennesker, kunne opnå den samme ydeevne, når den kun blev trænet på 12 GPU'er. GPU'er blev de facto-chippen til modeltræning og inferencing - den beregningsproces, der sker, når en trænet model bruges til de opgaver, den blev trænet til.

Men GPU'er er heller ikke perfekte til dyb læring. For det første kan de ikke fungere som en selvstændig chip. Fordi de er begrænset i de typer operationer, de kan udføre, skal de være knyttet til CPU'er for at håndtere alt andet. GPU'er har også en begrænset mængde cachehukommelse, datalagringsområdet nærmest en chips processorer. Det betyder, at hovedparten af ​​dataene er lagret off-chip og skal hentes, når det er tid til behandling. Frem-og-tilbage-datastrømmen ender med at blive en flaskehals for beregning, der begrænser den hastighed, hvormed GPU'er kan køre deep-learning-algoritmer.

Neural Magics kontor.

NEURAL MAGI

I de seneste år, snesevis af virksomheder er dukket op for at designe AI-chips, der omgår disse problemer. Problemet er, at jo mere specialiseret hardwaren er, jo dyrere bliver den.

Så Neural Magic har til hensigt at modvirke denne tendens. I stedet for at pille ved hardwaren modificerede virksomheden softwaren. Det redesignede deep-learning-algoritmer til at køre mere effektivt på en CPU ved at bruge chipsens store tilgængelige hukommelse og komplekse kerner. Mens tilgangen mister den hastighed, der opnås gennem en GPU's parallelisering, vinder den efter sigende omtrent den samme tid tilbage ved at eliminere behovet for at overføre data til og fra chippen. Algoritmerne kan køre på CPU'er ved GPU-hastigheder, siger virksomheden - men til en brøkdel af prisen. Det lyder som om, hvad de har gjort, er fundet ud af en måde at udnytte CPU'ens hukommelse på en måde, som folk ikke har gjort før, siger Thompson.

Neural Magic mener, at der kan være et par grunde til, at ingen tidligere tog denne tilgang. For det første er det kontraintuitivt. Ideen om, at deep learning kræver specialiseret hardware, er så forankret, at andre tilgange let kan overses. For det andet er det stadig relativt nyt at anvende kunstig intelligens i industrien, og virksomheder er lige begyndt at lede efter nemmere måder at implementere dyb-læringsalgoritmer på. Men om efterspørgslen er dyb nok til, at Neural Magic kan tage fart, er stadig uklart. Firmaet har beta-testet sit produkt med omkring 10 virksomheder - kun en del af den bredere AI-industri.

Vi ønsker at forbedre ikke kun neurale netværk, men også computing generelt.

Neil Thompson

Neural Magic tilbyder i øjeblikket sin teknik til at udlede opgaver i computersyn. Klienter skal stadig træne deres modeller på specialiseret hardware, men kan derefter bruge Neural Magics software til at konvertere den trænede model til et CPU-kompatibelt format. En klient, en stor producent af mikroskopiudstyr, afprøver nu denne tilgang for at tilføje AI-egenskaber på enheden til sine mikroskoper, siger Shavit. Fordi mikroskoperne allerede kommer med en CPU, har de ikke brug for yderligere hardware. I modsætning hertil ville brug af en GPU-baseret deep-learning-model kræve, at udstyret er mere omfangsrigt og mere strømkrævende.

En anden klient ønsker at bruge Neural Magic til at behandle sikkerhedskameraoptagelser. Det ville gøre det muligt for den at overvåge trafikken ind og ud af en bygning ved hjælp af computere, der allerede er tilgængelige på stedet; Ellers bliver det måske nødt til at sende optagelserne til skyen, hvilket kan introducere privatlivsproblemer, eller anskaffe speciel hardware til hver bygning, den overvåger.

Shavit siger, at inferencing også kun er begyndelsen. Neural Magic planlægger at udvide sine tilbud i fremtiden for at hjælpe virksomheder tog også deres AI-modeller på CPU'er. Vi tror på, at CPU'er om 10 til 20 år vil være det egentlige stof til at køre maskinlæringsalgoritmer, siger han.

Thompson er ikke så sikker. Økonomien har virkelig ændret sig omkring spånproduktion, og det kommer til at føre til meget mere specialisering, siger han. Derudover, mens Neural Magics teknik får mere ydeevne ud af eksisterende hardware, vil grundlæggende hardwarefremskridt stadig være den eneste måde at fortsætte med at drive computing fremad. Det lyder som en rigtig god måde at forbedre ydeevnen i neurale netværk på, siger han. Men vi ønsker at forbedre ikke kun neurale netværk, men også computing generelt.

skjule