Opbevaringssystem til 'Big Data' fremskynder dramatisk adgang til information

Efterhånden som computere kommer ind på stadig flere områder af vores daglige liv, er mængden af ​​data, de producerer, vokset enormt.

Men for at disse store data kan være nyttige, skal de først analyseres, hvilket betyder, at de skal opbevares på en sådan måde, at de kan tilgås hurtigt, når det kræves.

Tidligere ville alle data, der skulle tilgås i en fart, blive gemt i en computers hovedhukommelse eller dynamisk tilfældig adgangshukommelse (DRAM) - men størrelsen af ​​de datasæt, der nu produceres, gør dette umuligt.

Så i stedet har information en tendens til at blive lagret på flere harddiske på en række maskiner på tværs af et Ethernet-netværk. Imidlertid øger denne lagringsarkitektur betydeligt den tid, det tager at få adgang til informationen, ifølge Sang-Woo Jun, en kandidatstuderende i Computer Science and Artificial Intelligence Laboratory ( CSAIL ) at MIT.

Foto udlånt af forskerne

Lagring af data over et netværk er langsom, fordi der er en betydelig ekstra tidsforsinkelse i at administrere dataadgang på tværs af flere maskiner i både software og hardware, siger Jun. Og hvis dataene ikke passer i DRAM, skal du gå til sekundært lager - harddiske, muligvis forbundet over et netværk - hvilket er meget langsomt.

Nu har Jun, CSAIL-stipendiat Ming Liu, og Arvind, Charles W. og Jennifer C. Johnson professor i elektroteknik og datalogi, udviklet et lagringssystem til big-data-analyse, der dramatisk kan fremskynde den tid, det tager at få adgang til oplysninger.

Systemet, som vil blive præsenteret i februar ved det internationale symposium om feltprogrammerbare gatearrays i Monterey, Californien, er baseret på et netværk af flash-lagerenheder.

Flash-lagringssystemer klarer sig bedre til opgaver, der involverer at finde tilfældige stykker information fra et stort datasæt end andre teknologier. De kan typisk tilgås tilfældigt på mikrosekunder. Dette sammenlignes med datasøgningstiden på harddiske, som typisk er fire til 12 millisekunder, når man får adgang til data fra uforudsigelige placeringer efter behov.

Flash-systemer er også ikke-flygtige, hvilket betyder, at de ikke mister nogen af ​​de oplysninger, de har, hvis computeren er slukket.

I lagersystemet, kendt som BlueDBM - eller Blue Database Machine - er hver flashenhed forbundet til en field-programmable gate array (FPGA)-chip for at skabe en individuel node. FPGA'erne bruges ikke kun til at styre flashenheden, men er også i stand til at udføre behandlingsoperationer på selve dataene, siger Jun.

Det betyder, at vi kan lave noget behandling tæt på, hvor dataene [bliver gemt], så vi ikke altid skal flytte alle data til maskinen for at arbejde på det, siger han.

Hvad mere er, kan FPGA-chips forbindes sammen ved hjælp af et højtydende serielt netværk, som har en meget lav latens eller tidsforsinkelse, hvilket betyder, at information fra enhver af noderne kan tilgås inden for et par nanosekunder. Så hvis vi forbinder alle vores maskiner ved hjælp af dette netværk, betyder det, at enhver node kan få adgang til data fra enhver anden node med meget lille ydeevneforringelse, [og] det vil føles, som om fjerndataene sad her lokalt, siger Jun.

Ved at bruge flere noder kan teamet få den samme båndbredde og ydeevne fra deres lagernetværk som langt dyrere maskiner, tilføjer han.

Holdet har allerede bygget et fire-node prototype netværk. Denne blev dog bygget med 5 år gamle dele, og som følge heraf er den ret langsom.

Så de bygger nu et meget hurtigere 16-node prototype netværk, hvor hver node vil operere med 3 gigabyte i sekundet. Netværket vil have en kapacitet på 16 til 32 terabyte.

Ved at bruge den nye hardware bygger Liu også et databasesystem designet til brug i big-data-analyse. Systemet vil bruge FPGA-chipsene til at udføre beregninger på dataene, efterhånden som de tilgås af værtscomputeren, for at fremskynde processen med at analysere informationen, siger Liu.

Hvis vi er hurtige nok, hvis vi tilføjer det rigtige antal noder til at give os nok båndbredde, kan vi analysere videnskabelige data i høj volumen med omkring 30 billeder i sekundet, hvilket giver os mulighed for at besvare brugerforespørgsler med meget lave latenser, hvilket gør systemet virker i realtid, siger han. Det ville give os en interaktiv database.

Som et eksempel på, hvilken type information systemet kunne bruges på, har teamet arbejdet med data fra en simulering af universet genereret af forskere ved University of Washington. Simuleringen indeholder data om alle partiklerne i universet på tværs af forskellige tidspunkter.

Forskere er nødt til at forespørge på dette ret enorme datasæt for at spore, hvilke partikler der interagerer med hvilke andre partikler, men at køre den slags forespørgsler er tidskrævende, siger Jun. Vi håber at give en grænseflade i realtid, som videnskabsmænd kan bruge til at se på informationen lettere.

Kees Vissers fra producenten af ​​programmerbare chip Xilinx, baseret i San Jose, Californien, siger, at flashlagring begynder at blive set som en erstatning for både DRAM og harddiske. Historisk set skulle computerarkitekturen have et bestemt hukommelseshierarki - cache på processorerne, DRAM off-chip og derefter harddiske - men hele den linje er nu ved at blive sløret af nye mekanismer inden for flash-teknologi.

Arbejdet på MIT er særligt interessant, fordi teamet har optimeret hele systemet til at arbejde med flash, herunder udviklingen af ​​nye hardwaregrænseflader, siger Vissers. Det betyder, at du får en fordel på systemniveau, siger han.

skjule