Grafikchips hjælper med at behandle store datasæt på millisekunder

Ny software kan bruge de grafiske processorer, der findes på hverdagscomputere, til at behandle torrents af data hurtigere, end det normalt er muligt, hvilket åbner op for nye måder at visuelt udforske alt fra Twitter-indlæg til politiske donationer.

Regnmager : Ny visualiseringsteknologi fortæller om blot millisekunder for at omdanne titusinder eller hundreder af millioner af datapunkter til kort og animationer som dette eksempel, der viser hyppigheden af ​​ordet regn i tweets over hele landet.

Kendt som KortD , eller massivt parallel database, opnår den nye teknologi store hastighedsgevinster ved at gemme dataene i den indbyggede hukommelse af grafikprocessorenheder (GPU'er) i stedet for i centrale processorenheder (CPU'er), som det er konventionelt. Brug af et enkelt højtydende GPU-kort kan gøre databehandlingen op til 70 gange hurtigere.

Lige nu bliver prototypeteknologien demonstreret på tweets; den kan vise, hvordan en meme udbredes i realtid på regionale eller verdenskort (se Visualisering af store data på millisekunder på billige computere). Mange Twitter-visualiseringer i stor skala – inklusive animerede kort og diagrammer – tager flere sekunder eller længere tid at behandle data, før de kan vises. Med MapD kan en bruger justere søgetermer og andre parametre – som tidsramme eller geografisk region – og se en ny visualisering med det samme uden at skulle vente på, at hvert nyt kort og animation beregnes og indlæses.

Det her offentlig grænseflade kan bruges til at visualisere 50 millioner geokodede tweets udsendt mellem 28. september og 6. oktober. Værktøjet giver brugerne mulighed for at udforske forskellige søgetermer, undersøge brede geografiske tendenser og zoome ind på hvert tweet. For hver af de 30 billeder i sekundet, den genererer, når Twitter animeres, scanner Map-D alle de tweets, der er blevet indlæst på GPU'erne, og konstruerer visualiseringer såsom kort over, hvordan ordbrugen kan omfatte omtaler af et produktnavn eller en nyhed. — forplanter sig på tværs af en region eller rundt om i verden i realtid.

De [eksisterende Twitter-visualiseringer], vi kender til, er 'dåse' - baseret på tidligere beregninger af et kort eller billede, snarere end at være virkelig interaktive, siger Samuel Madden , professor i datalogi ved MIT. Vi har bygget en ny slags databasesystem. Det vil besvare og også kortlægge hver anmodning ved at scanne gennem hvert tweet i databasen, hvilket kan gøres på blot et par millisekunder. Systemet kan holde tempoet oppe, selvom databasen har hundreder af millioner af tweets.

Teknologien blev opfundet sidste år af Todd Mostak, dengang en Harvard-studerende i mellemøstlige studier, som var frustreret over den træge behandling, han stødte på, da han forsøgte at knuse sociale mediers datasæt fra Egypten og andre steder i Mellemøsten. Ved at bygge et værktøj til at udforske datasæt som dette på en virkelig interaktiv måde, med latenser målt i millisekunder i stedet for sekunder eller minutter, håber vi at fjerne en beregningsmæssig flaskehals fra processen med hypoteseformulering, testning og forfining, siger Mostak.

Teknologien kan gøre det lettere at få indsigt fra Twitters enorme informationskorpus. Kombination af folketællingsdata med tweets kunne for eksempel vise, hvordan omtalen af ​​ordet McDonald's i geotaggede tweets relaterer sig til variabler som indkomst eller arbejdsløshedsniveau.

En early adopter vil være Sunlight Foundation , som fremmer åbenhed i kampagnefinansiering. Denne organisation leverer 22 års donationsdata fra amerikanske stats- og føderale kampagner til MapD, som vil give måder til hurtigt at variere visualiseringer, der opdeler mere end 20 millioner donationer i henhold til donor, region, folkevalgt og andre parametre. Hver ny type forespørgsel vil generere en ny visualisering på blot millisekunder.

Ved at bruge eksisterende metoder kan det tage sekunder for en visualisering at indlæse, fordi det tager så lang tid at forespørge oplysningerne i en database. Hurtigere adgang gør det muligt for forskere at teste hypoteser og forfine visualiseringer hurtigere. Det kunne gøre store datasæt mere nyttige. Mange bærbare computere indeholder endda ret kraftige GPU'er - hurtige nok til dramatisk at accelerere den interaktive udforskning af moderate datasæt på f.eks. 20 millioner tweets, siger Mostak.

MapDs teknologi lover at gøre nye former for realtidsforespørgsler mulige, siger Bob Lannon, en udvikler hos Sunlight Labs , som udvikler dataanalyseværktøjer til Sunlight Foundation. Snart vil du hurtigt være i stand til at udforske store mængder data og pivotere, filtrere og opsummere dem på måder, som ikke tidligere var tilgængelige. Vi er spændte på at se, hvad det kan betyde for vores brugere.

Nvidia, en af ​​de førende producenter af GPU'er, planlægger at demonstrere MapD på mere end en milliard tweets ved hjælp af otte GPU'er på en kommende konference. Forskerne planlægger også at lave en fælles demo med Gnip, den førende forhandler af sociale mediedata fra kilder som Twitter, Foursquare og Facebook. Elaine Ellis, en talskvinde for Gnip, sagde, at virksomheden ikke var klar til at tale om samarbejdet.

Twitter rapporterede for nylig, at det har 215 millioner månedlige aktive brugere, der udsender mere end 400 millioner tweets om dagen. Af disse indeholder omkring syv millioner tweets GPS geolocation-tags, typisk fra mobile enheder. At være i stand til at visualisere massive strømme af geografisk identificerbare sociale medier og mobiltelefondata i realtid kan have stærke konsekvenser for epidemiologi og katastroferespons (se Big Data fra billige telefoner).

Ud over at bruge grafikchips arbejder Madden og Mostak sammen med forskere fra Intel for at give MapD mulighed for at drage fordel af virksomhedens nye massivt parallelle processorer samt de almindelige X86-processorer, der driver de fleste computere.

skjule