Den computerkraft, der er nødvendig for at træne AI, stiger nu syv gange hurtigere end nogensinde før

Go-spilleren Ke Jie spiller en kamp mod Googles kunstige intelligens-program, AlphaGo AP

I 2018 fandt OpenAI ud af, at mængden af ​​regnekraft brugt til at træne de største AI-modeller var fordoblet hver 3,4 måned siden 2012.

Det San Francisco-baserede for-profit AI-forskningslaboratorium har nu tilføjet nye data til sin analyse. Dette viser, hvordan fordoblingen efter 2012 sammenlignes med den historiske fordoblingstid siden begyndelsen af ​​feltet. Fra 1959 til 2012 blev mængden af ​​brugt strøm fordoblet hvert andet år, hvilket fulgte Moores lov. Det betyder, at de ressourcer, der bruges i dag, fordobles med en hastighed, der er syv gange hurtigere end før.

OpenAI

Denne dramatiske stigning i de nødvendige ressourcer understreger, hvor dyre feltets resultater er blevet. Husk, at ovenstående graf viser en logaritmisk skala. På en lineær skala (nedenfor) kan du tydeligere se, hvordan computerforbruget er steget med 300.000 gange i de sidste syv år.

Diagrammet inkluderer heller ikke nogle af de seneste gennembrud, inklusive Googles storstilede sprogmodel BERT , OpenAIs sprogmodel GPT-2 eller DeepMinds StarCraft II-spillende model AlphaStar.

OpenAI

Det seneste år har flere og flere forskere slået alarm om de eksploderende omkostninger ved deep learning. I juni viste en analyse fra forskere ved University of Massachusetts, Amherst, hvordan disse stigende beregningsomkostninger direkte omsættes til kulstofemissioner.

I deres papir bemærkede de også, hvordan tendensen forværrer privatiseringen af ​​AI-forskning, fordi den underminerer akademiske laboratoriers evne til at konkurrere med meget mere ressourcerige private.

Som svar på denne voksende bekymring har flere industrigrupper fremsat anbefalinger. Allen Institute for Artificial Intelligence, et nonprofit-forskningsfirma i Seattle, har foreslået, at forskere altid offentliggør de økonomiske og beregningsmæssige omkostninger ved at træne deres modeller sammen med deres præstationsresultater, for eksempel.

I sin egen blog foreslog OpenAI politikere at øge finansieringen til akademiske forskere for at bygge bro over ressourcegabet mellem akademiske og industrilaboratorier.

Rettelse: En tidligere version af denne artikel angav fejlagtigt, at fordoblingstiden i dag er mere end syv gange højere end før. De anvendte ressourcer fordobles syv gange hurtigere, og selve fordoblingstiden er en syvendedel forrige gang.

skjule