211service.com
IBM bygger det største datadrev nogensinde
Et datalager, der er næsten 10 gange større end noget tidligere, bliver bygget af forskere ved IBMs forskningslaboratorium i Almaden, Californien. Drevet på 120 petabyte - det er 120 millioner gigabyte - består af 200.000 konventionelle harddiske, der arbejder sammen. Den gigantiske databeholder forventes at gemme omkring en trillion filer og skulle give den nødvendige plads til at tillade mere kraftfulde simuleringer af komplekse systemer, som dem der bruges til at modellere vejr og klima.
Et drev på 120 petabyte kunne rumme 24 milliarder typiske 5 megabyte MP3-filer eller komfortabelt sluge 60 kopier af den største sikkerhedskopi af nettet, de 150 milliarder sider, der udgør internetarkivets Wayback maskine .
Datalagergruppen kl IBM Almaden udvikler det rekordstore lagringssystem til en unavngiven klient, der har brug for en ny supercomputer til detaljerede simuleringer af fænomener i den virkelige verden. Men de nye teknologier, der er udviklet til at bygge et så stort depot, kunne muliggøre lignende systemer til mere konventionel kommerciel databehandling, siger Bruce Hillsberg , direktør for storage research hos IBM og leder af projektet.
Dette system på 120 petabyte er på den gale kant nu, men om nogle år kan det være, at alle cloud computing-systemer er ligesom det, siger Hillsberg. Bare det at holde styr på navnene, typerne og andre attributter for de filer, der er gemt i systemet, vil forbruge omkring to petabyte af dets kapacitet.
Steve Conway, en vicepræsident for forskning hos analytikerfirmaet IDC, som er specialiseret i højtydende computing (HPC), siger, at IBMs lager er væsentligt større end tidligere lagersystemer. En 120-petabye lageropstilling ville nemt være den største, jeg har stødt på, siger han. De største arrays, der er tilgængelige i dag, er omkring 15 petabyte store. Supercomputing-problemer, der kunne drage fordel af mere datalagring, omfatter vejrudsigter, seismisk behandling i olieindustrien og molekylære undersøgelser af genomer eller proteiner, siger Conway.
IBMs ingeniører udviklede en række nye hardware- og softwareteknikker for at muliggøre en så stor stigning i datalagringskapacitet. At finde en måde at kombinere de tusindvis af harddiske, som systemet er bygget af, var en udfordring. Som i de fleste datacentre sidder drevene i vandrette skuffer stablet inde i høje stativer. Alligevel var IBMs forskere nødt til at gøre dem betydeligt bredere end normalt for at passe flere diske ind i et mindre område. Diskene skal afkøles med cirkulerende vand frem for standard blæsere.
De uundgåelige fejl, der opstår regelmæssigt i en så stor samling af diske, udgør en anden stor udfordring, siger Hillsberg. IBM bruger standardtaktikken med at gemme flere kopier af data på forskellige diske, men den anvender nye forbedringer, der gør det muligt for en supercomputer at fortsætte med at arbejde med næsten fuld hastighed, selv når et drev går i stykker.
Når en ensom disk dør, trækker systemet data fra andre drev og skriver dem langsomt til diskens erstatning, så supercomputeren kan fortsætte med at arbejde. Hvis der opstår flere fejl blandt nærliggende drev, fremskyndes genopbygningsprocessen for at undgå muligheden for, at der opstår endnu en fejl og sletter nogle data permanent. Hillsberg siger, at resultatet er et system, der ikke bør miste data i en million år uden at gå på kompromis med ydeevnen.
Det nye system drager også fordel af et filsystem kendt som GPFS, der blev udviklet hos IBM Almaden for at give supercomputere hurtigere dataadgang. Det spreder individuelle filer over flere diske, så mange dele af en fil kan læses eller skrives på samme tid. GPFS gør det også muligt for et stort system at holde styr på sine mange filer uden møjsommeligt at scanne gennem hver enkelt. Sidste måned brugte et team fra IBM GPFS til at indeksere 10 milliarder filer på 43 minutter, hvilket ubesværet slog den tidligere rekord på en milliard filer scannet på tre timer.
Softwareforbedringer som dem, der udvikles til GPFS og diskgendannelse, er afgørende for at muliggøre sådanne gigantiske datadrev, siger Hillsberg, for for at være praktiske skal de ikke kun blive større, men også hurtigere. Harddiske bliver ikke hurtigere eller mere pålidelige i forhold til kravene om mere lagerplads, så software skal udgøre forskellen.
IDCs Conway er enig i, at hurtigere adgang til større datalagringssystemer er ved at blive afgørende for supercomputing - selvom supercomputere oftest sammenlignes offentligt på deres processorhastigheder, som det er tilfældet med den globale TOP500-liste, der bruges til at bestemme internationale pralerettigheder. Store drev bliver vigtige, fordi simuleringer bliver større, og mange problemer tackles ved hjælp af såkaldte iterative metoder, hvor en simulering køres tusindvis af gange, og resultaterne sammenlignes, siger Conway. Checkpointing, en teknik, hvor en supercomputer gemmer øjebliksbilleder af sit arbejde, hvis jobbet ikke fuldføres med succes, er også almindelig. Disse tendenser har produceret en dataeksplosion i HPC-samfundet, siger Conway.