Højtydende, billig maskinlæringsinfrastruktur accelererer innovation i skyen

Leveret af Amazon Web Services

Kunstig intelligens og maskinlæring (AI og ML) er nøgleteknologier, der hjælper organisationer med at udvikle nye måder at øge salget, reducere omkostninger, strømline forretningsprocesser og forstå deres kunder bedre. AWS hjælper kunder med at accelerere deres AI/ML-adoption ved at levere kraftfulde computere, højhastighedsnetværk og skalerbare højtydende lagringsmuligheder på efterspørgsel til ethvert maskinlæringsprojekt. Dette sænker adgangsbarrieren for organisationer, der ønsker at adoptere skyen for at skalere deres ML-applikationer.

Udviklere og dataforskere rykker teknologiens grænser og tager i stigende grad i brug deep learning, som er en type maskinlæring baseret på neurale netværksalgoritmer. Disse deep learning-modeller er større og mere sofistikerede, hvilket resulterer i stigende omkostninger til at drive underliggende infrastruktur til at træne og implementere disse modeller.

For at gøre det muligt for kunderne at accelerere deres AI/ML-transformation, bygger AWS højtydende og billige maskinlæringschips. AWS Inferentia er den første maskinlæringschip bygget fra bunden af ​​AWS til den billigste maskinlæringsslutning i skyen. Faktisk leverer Amazon EC2 Inf1-instanser drevet af Inferentia 2,3 gange højere ydeevne og op til 70 % lavere omkostninger til maskinlæringskonklusioner end den nuværende generation af GPU-baserede EC2-instanser. AWS Trainium er den anden maskinlæringschip fra AWS, der er specialbygget til træning af deep learning-modeller og vil være tilgængelig i slutningen af ​​2021.

Kunder på tværs af brancher har implementeret deres ML-applikationer i produktionen på Inferentia og set betydelige præstationsforbedringer og omkostningsbesparelser. For eksempel muliggør AirBnBs kundesupportplatform intelligente, skalerbare og exceptionelle serviceoplevelser til sit fællesskab af millioner af værter og gæster over hele kloden. Det brugte Inferentia-baserede EC2 Inf1-instanser til at implementere NLP-modeller (natural language processing), der understøttede dets chatbots. Dette førte til en 2x forbedring af ydeevnen ud af boksen i forhold til GPU-baserede instanser.

Med disse nyskabelser inden for silicium gør AWS kunderne i stand til nemt at træne og udføre deres deep learning-modeller i produktionen med høj ydeevne og gennemløb til væsentligt lavere omkostninger.

Maskinlæring udfordrer hastighedsskiftet til cloud-baseret infrastruktur

Maskinlæring er en iterativ proces, der kræver, at teams bygger, træner og implementerer applikationer hurtigt, samt træner, genoptræner og eksperimenterer ofte for at øge modellernes forudsigelsesnøjagtighed. Når de implementerer trænede modeller i deres forretningsapplikationer, skal organisationer også skalere deres applikationer til at betjene nye brugere over hele kloden. De skal være i stand til at betjene flere anmodninger, der kommer ind på samme tid, med næsten realtidsforsinkelse for at sikre en overlegen brugeroplevelse.

Nye brugssager såsom objektdetektion, naturlig sprogbehandling (NLP), billedklassificering, konversations-AI og tidsseriedata er afhængige af deep learning-teknologi. Deep learning-modeller vokser eksponentielt i størrelse og kompleksitet og går fra at have millioner af parametre til milliarder i løbet af et par år.

Træning og implementering af disse komplekse og sofistikerede modeller medfører betydelige infrastrukturomkostninger. Omkostningerne kan hurtigt blive uoverkommeligt store, efterhånden som organisationer skalerer deres applikationer til at levere næsten realtidsoplevelser til deres brugere og kunder.

Det er her, cloud-baserede maskinlæringsinfrastrukturtjenester kan hjælpe. Skyen giver on-demand adgang til computere, højtydende netværk og stor datalagring, sømløst kombineret med ML operationer og højere niveau AI-tjenester, for at gøre det muligt for organisationer at komme i gang med det samme og skalere deres AI/ML-initiativer.

Hvordan AWS hjælper kunder med at accelerere deres AI/ML-transformation

AWS Inferentia og AWS Trainium sigter mod at demokratisere maskinlæring og gøre den tilgængelig for udviklere uanset erfaring og organisationsstørrelse. Inferentias design er optimeret til høj ydeevne, gennemløb og lav latens, hvilket gør den ideel til at implementere ML-inferens i skala.

Hver AWS Inferentia-chip indeholder fire NeuronCores, der implementerer en højtydende systolisk array matrix multiplikationsmotor, som i høj grad fremskynder typiske deep learning-operationer, såsom foldning og transformere. NeuronCores er også udstyret med en stor on-chip cache, som hjælper med at skære ned på ekstern hukommelsesadgang, reducere latens og øge gennemløbet.

AWS Neuron, softwareudviklingssættet til Inferentia, understøtter indbygget førende ML-frameworks, såsom TensorFlow og PyTorch. Udviklere kan fortsætte med at bruge de samme rammer og livscyklusudviklingsværktøjer, som de kender og elsker. For mange af deres trænede modeller kan de kompilere og implementere dem på Inferentia ved kun at ændre en enkelt kodelinje uden yderligere ændringer i applikationskoden.

Resultatet er en højtydende slutningsimplementering, der nemt kan skaleres, mens omkostningerne holdes under kontrol.

Sprinklr, en software-as-a-service-virksomhed, har en AI-drevet samlet kundeoplevelsesstyringsplatform, der gør det muligt for virksomheder at indsamle og omsætte kundefeedback i realtid på tværs af flere kanaler til brugbar indsigt. Dette resulterer i proaktiv problemløsning, forbedret produktudvikling, forbedret indholdsmarkedsføring og bedre kundeservice. Sprinklr brugte Inferentia til at implementere sin NLP og nogle af sine computervisionsmodeller og oplevede betydelige præstationsforbedringer.

Adskillige Amazon-tjenester implementerer også deres maskinlæringsmodeller på Inferentia.

Amazon Prime Video bruger computervision ML-modeller til at analysere videokvaliteten af ​​livebegivenheder for at sikre en optimal seeroplevelse for Prime Video-medlemmer. Den implementerede sine billedklassificering ML-modeller på EC2 Inf1-instanser og oplevede en 4x forbedring i ydeevne og op til 40 % besparelser i omkostninger sammenlignet med GPU-baserede instanser.

Et andet eksempel er Amazon Alexas AI- og ML-baserede intelligens, drevet af Amazon Web Services, som er tilgængelig på mere end 100 millioner enheder i dag. Alexas løfte til kunderne er, at det altid bliver smartere, mere konverserende, mere proaktivt og endnu mere behageligt. At leve op til det løfte kræver løbende forbedringer i responstider og maskinlæringsinfrastrukturomkostninger. Ved at implementere Alexas tekst-til-tale ML-modeller på Inf1-instanser var det i stand til at sænke slutningsforsinkelse med 25 % og pris pr. slutning med 30 % for at forbedre serviceoplevelsen for titusinder af kunder, der bruger Alexa hver måned.

Frigør nye maskinlæringsfunktioner i skyen

Mens virksomheder ræser for at fremtidssikre deres forretning ved at aktivere de bedste digitale produkter og tjenester, kan ingen organisation komme bagud med at implementere sofistikerede maskinlæringsmodeller for at hjælpe med at innovere deres kundeoplevelser. I løbet af de sidste par år har der været en enorm stigning i anvendeligheden af ​​maskinlæring til en række forskellige anvendelsessager, fra personalisering og churn-forudsigelse til svindeldetektion og forsyningskædeprognoser.

Heldigvis frigør maskinlæringsinfrastrukturen i skyen nye muligheder, som tidligere ikke var mulige, hvilket gør den langt mere tilgængelig for ikke-eksperter. Det er derfor, AWS-kunder allerede bruger Inferentia-drevne Amazon EC2 Inf1-instanser til at give intelligensen bag deres anbefalingsmotorer og chatbots og for at få handlingsorienteret indsigt fra kundefeedback.

Med AWS cloud-baserede maskinlæringsinfrastrukturmuligheder, der passer til forskellige færdighedsniveauer, er det klart, at enhver organisation kan accelerere innovation og omfavne hele maskinlæringslivscyklussen i stor skala. Efterhånden som maskinlæring fortsætter med at blive mere udbredt, er organisationer nu i stand til fundamentalt at transformere kundeoplevelsen – og den måde, de driver forretning på – med en omkostningseffektiv, højtydende cloud-baseret maskinlæringsinfrastruktur.

Lær mere om, hvordan AWS’s machine learning platform kan hjælpe din virksomhed med at innovere her .

Dette indhold blev produceret af AWS. Det er ikke skrevet af MIT Technology Reviews redaktion.

skjule