On-Device Processing og AI går hånd i hånd

I samarbejde med Qualcomm

Uanset om du betjener et autonomt køretøj, bruger ansigtsgenkendelse for at få adgang til din bankkonto eller holder din enhed sikker mod hurtigt skiftende sikkerhedstrusler, spiller kunstig intelligens (AI) en større rolle i vores liv. Tidligere var skyens kraft påkrævet til denne behandling, men edge-enheder, såsom smartphones og droner, er nu udstyret til at køre computerintensive AI-operationer. Faktisk er edge-enheden i mange tilfælde den foretrukne platform til at køre AI-drevne applikationer.

Virkeligheden er, at der dukker flere AI-applikationer op i dag, end de fleste af os er klar over. Når en enhed er udstyret med AI, kan den i høj grad udvide og forbedre vores liv, hvad enten det er ved at optage skarpere billeder og videoer, kommunikere med os mere naturligt eller opfatte miljøet og autonomt navigere os sikkert til vores destination.

AI er en paraplybetegnelse designet til at omfatte alt, der hjælper en enhed med at replikere den menneskelige hjerne, siger Gary Brotman, direktør for produktstyring for Qualcomm. Machine learning (ML) er en bred klasse af teknikker og algoritmer til at løse de problemer, der gør AI mulig. Klassen, vi fokuserer på, er deep learning (DL) og recurrent neurale netværk (RNN), der kører på den faktiske enhed.

Den betydelige forbedring af AI-algoritmer og on-device-behandling, to afgørende ingredienser for at gøre AI allestedsnærværende, fører til mere sømløse og overbevisende brugeroplevelser. Dette gælder især, da AI-baseret funktionalitet flytter til køretøjer, husholdningsenheder og Internet of Things (IoT) sensorer. Forbedrede perceptive og kognitive evner på grund af de mange teknologier under AI-paraplyen, såsom ML, DL og RNN'er, kan nu køre på moderne edge-enheder.

For eksempel kan AI på enheden forbedre billedgenkendelse og avanceret billedbehandling, såsom at producere bokeh-effekter (en blød baggrund uden fokus) og stiloverførsler. AI-udstyrede enheder kan også lære at genkende nøgleord og stemmer, forbedre deres respons til forbrugeren og hjælpe med fremmedsprogsoversættelse.

Derudover kan AI hjælpe enheder og apps med at blive mere opmærksomme på brugerpræferencer og omgivelser, forstå hensigter og reagere på kontekstuelt relevante måder. AI på din enhed resulterer i en mere kontekstuelt rig oplevelse, siger Brotman. Og med tiden vil din enhed være i stand til at forudsige og have en dybere forståelse af, hvad du skal gøre næste gang.

AI i din hånd

On-device AI har flere væsentlige fordele. Den første er præstation. Behandlingen på enheden er bare hurtigere – ingen rundrejse til skyen, siger Brotman. Privatliv er næste gang. Folk er komfortable med at dele nogle personlige data, men ikke det hele. Og den tredje er pålidelighed. Mobilnetværk er udbredt, men der er ingen garanti for, at du altid har en forbindelse.

Ydeevne: At køre AI-algoritmer på enheden – uafhængigt af skyen – kan i høj grad forbedre responstiden og effektiviteten, da data ikke skal overføres mellem skyen og enheden. Dette er vigtigt, fordi mobile AI-kapaciteter har tendens til at være tidsfølsomme for brugeroplevelse og beslutningstagning.

AI-apps har en tendens til at være real-time og missionskritiske, siger Jeff Gehlhaar, vicepræsident for teknologi for Qualcomm. Mange tilfælde af AI-brug, der forbedrer en oplevelse, har ikke råd til latenstid.

Et selvkørende køretøj, der for eksempel skal bruge sine bremser, har ikke råd til engang et millisekunds forsinkelse, der kan skyldes cloud-behandling. Beslutninger skal træffes på et splitsekund, for at køretøjet kan fungere sikkert.

Med hensyn til brugeroplevelse kan en naturlig stemmebrugergrænseflade kun tolerere så meget latenstid. Brugere er vant til øjeblikkelige svar, når de bruger en talegrænseflade til behandling af naturligt sprog, og følgerne af netværksforsinkelser vil føre til dårlige oplevelser.

Privatliv og sikkerhed: At opbevare dine data på enheden sikrer privatlivets fred, og AI bruges også til biometrisk autentificering ved hjælp af stemme, fingeraftryk, iris og ansigtsgenkendelse. At bruge dit ansigt til at låse en enhed op er ved at blive almindeligt, siger Brotman. Og 3D-ansigtsgenkendelse er ved at dukke op for at give en højere grad af ægthed til at aktivere mobilbetalinger.

Behandling på enheden af ​​AI-applikationer kan også øge både enheden og datasikkerheden ved at holde et vågent øje med afvigende adfærd. AI kan hjælpe med at opdage malware og unormal adfærd, siger Gehlhaar. Vi kan træne det neurale netværk til at se, hvordan dårlige skuespillere opfører sig. Og det kan opdage den dårlige adfærd, som at spørge: 'Hvorfor åbner mit kameraprogram min kontaktdatabase?'

Pålidelighed: Selv i de mest avancerede områder af verden er mobilnetværksdækning ikke allestedsnærværende. Når det kommer til visse AI-drevne egenskaber, er der dog ikke plads til fejl. Autonome køretøjer har simpelthen ikke råd til at opleve et tabt trådløst signal, som det kan opstå ved indkørsel i en tunnel eller parkeringshus. Behandling på enheden, ud over andre redundansfunktioner, vil altid være et krav for missionskritiske anvendelser som autonom kørsel.

Bringer AI til Edge-enheder

Selvom disse AI-funktioner nu kan køre på enheden, har skyen stadig en rolle, især som et supplement til behandling på enheden. AI-apps er stadig afhængige af cloud-platforme til at administrere big data og til at træne de neurale netværksmodeller, der driver AI-inferens.

Edge-enheder selv skal også være udstyret til effektivt at køre AI-arbejdsbelastninger. For eksempel skal behandlingen ske inden for platformens begrænsninger, herunder strømforbrug og termiske grænser. Applikationsprocessorer med forskellige behandlingsmotorer er særligt velegnede til effektivt at køre AI-opgaver. Qualcomm Snapdragon Mobile Platform er for eksempel udstyret med tre separate behandlingsmotorer - en central behandlingsenhed (CPU), grafikprocessorenhed (GPU) og digital signalprocessor (DSP) med vektorbehandlingsfunktioner - som alle spiller nøgleroller i on-device AI.

Med heterogen computing er der en række forskellige motorer i chippen til mest effektivt at behandle en given opgave, siger Pat Lawlor, teknisk marketingschef hos Qualcomm. CPU'en, GPU'en og DSP'en har forskellige styrker og svagheder, og de kan arbejde sammen eller hver for sig, afhængigt af AI-opgaven. De komplementerer hinanden, og AI-opgaverne kører på de passende motorer for høj ydeevne ved lav effekt.

Den øgede processorkraft, der er indbygget i chipsættene på moderne edge-enheder, hjælper dem med at håndtere den intense behandling. For eksempel kan Qualcomm Hexagon 685 DSP, Adreno 630 GPU og Kryo 385 CPU i Snapdragon 845 levere op til to til tre gange hurtigere AI-behandling i forhold til den forrige generation. Hexagon DSP, for eksempel, blev oprindeligt designet til vektormatematik-intensive arbejdsbelastninger som lydbehandling og fortsætter med at blive forbedret til at adressere AI-arbejdsbelastninger, såsom accelererende neurale netværk under AI-inferens.

Hvad er det næste for mobil AI?

Mobil AI er et hurtigt voksende marked. Med løbende fremskridt inden for neurale netværk, DL-algoritmer og hardwaredesign vil vi se enorme forbedringer i nøjagtighed og hastighed plus nye, fordybende brugeroplevelser.

I det bredere mobilitetsunivers er 5G trådløse netværk også i horisonten. AI vil forbedre og forstærke 5G og omvendt, siger Brotman. 5G vil gøre det muligt for enheder at kommunikere mere frit med hinanden for at dele data og dele kontekst. Med denne udvikling vil vi opleve et fuldt forbundet univers af intelligente edge-enheder, der letter mere personlige brugeroplevelser i realtid.

Vores liv i dag bliver rigere af vores enheders muligheder, og vores fremtid vil i stigende grad blive forbedret af de fremskridt, der sker inden for kunstig intelligens. Konvergensen af ​​disse to stærke trends former allerede oplevelser i vores personlige og forretningsmæssige liv.

For at lære mere om on-device AI, besøg qualcomm.com/artificial-intelligence .

skjule