Små AI-modeller kunne overlade autokorrektur og stemmeassistenter på din telefon

Kategori: Kunstig intelligens Udsendt 04 okt

Forskere har med succes krympet en gigantisk sprogmodel til brug i kommercielle applikationer.

Hvem tæller? I det seneste år er naturlige sprogmodeller blevet dramatisk bedre på bekostning af at blive dramatisk større. I oktober sidste år var der f.eks. Google udgav en model kaldet BERT der bestod en langvarig læseforståelsesbenchmark på området. Den større version af modellen havde 340 millioner dataparametre, og træning af den kun én gang gennem kostede nok elektricitet til at drive en amerikansk husstand i 50 dage.

Fire måneder senere toppede OpenAI det hurtigt med sin model GPT-2. Modellen demonstrerede en imponerende evne til at konstruere overbevisende prosa; den brugte også 1,5 milliarder parametre. Nu har MegatronLM, den nyeste og største model fra Nvidia 8,3 milliarder parametre . (Ja, tingene er ved at gå ud af hånden.)

Den store, den dårlige, den grimme: AI-forskere er blevet mere og mere bekymrede over konsekvenserne af denne tendens. I juni viste en gruppe ved University of Massachusetts, Amherst, klimabelastningen ved at udvikle og træne modeller i så stor skala. Træning af BERT, beregnede de, udledte næsten lige så meget kulstof som en rundtursflyvning mellem New York og San Francisco; GPT-2 og MegatronLM, ved ekstrapolering, ville sandsynligvis udsende en hel del mere.

Tendensen kan også fremskynde koncentrationen af ​​AI-forskning i hænderne på nogle få teknologigiganter. Underressourcemæssige laboratorier i den akademiske verden eller lande med færre ressourcer har simpelthen ikke midlerne til at bruge eller udvikle sådanne beregningsmæssigt dyre modeller.

Skat, jeg skrumpede AI'en: Som svar er mange forskere fokuseret på skrumper størrelsen af eksisterende modeller uden at miste deres kapacitet. Nu har to nye papirer, udgivet inden for en dag efter hinanden, med succes gjort det til den mindre version af BERT med 100 millioner parametre.

Det første papir, fra forskere ved Huawei, producerer en model kaldet TinyBERT, der er mindre end en syvendedel af originalens størrelse og næsten 10 gange hurtigere. Den klarer sig også næsten lige så godt i sprogforståelse som originalen. Det anden, fra forskere hos Google, producerer en anden, der er mindre med en faktor på mere end 60, men dens sprogforståelse er lidt dårligere end Huawei-versionen.

Sådan gjorde de det: Begge papirer bruger variationer af en almindelig kompressionsteknik kendt som videndestillation. Det går ud på at bruge den store AI-model, som du ønsker at formindske (læreren) til at træne en meget mindre model (eleven) i sit billede. For at gøre det skal du indlæse de samme input til begge og derefter justere eleven, indtil dens output matcher lærerens.

Uden for laboratoriet: Ud over at forbedre adgangen til avanceret kunstig intelligens, vil bittesmå modeller hjælpe med at bringe de seneste fremskridt inden for kunstig intelligens til forbrugerenheder. De undgår behovet for at sende forbrugerdata til skyen, hvilket forbedrer både hastighed og privatliv. Specifikt for modeller med naturligt sprog kan mere kraftfuld tekstforudsigelse og sproggenerering forbedre utallige applikationer som autofuldførelse på din telefon og stemmeassistenter som Alexa og Google Assistant.

For at få flere historier som denne leveret direkte til din indbakke, tilmeld dig vores Webby-nominerede AI-nyhedsbrev The Algorithm. Det er gratis.