211service.com
Supercomputer fordøjer Twitter i realtid
At bestemme de mest indflydelsesrige brugere af Twitter er sandsynligvis ikke, hvad skaberne af Cray XMT supercomputer havde i tankerne, da de designede deres maskine. Men når du pakker så meget beregningsvarme, går du derhen, hvor de svære problemer er. Twitter, Facebook og resten af det sociale web er blevet den moderne ækvivalent til vandkøleren, dog med en automatisk transskriptionist til stede. Og at behandle alle de data, som samtalen genererer, viser sig at være et meget svært problem.
Cray XMT supercomputer med høflighed Cray
For eksempel inkluderede Facebook i februar 2010 400 millioner aktive brugere med et gennemsnit på 120 venneforbindelser hver, som alle tilsammen delte 5 milliarder stykker information på en enkelt måned.
At finde ud af, hvem influenterne er i et så massivt socialt netværk, kræver at der skabes en gigantisk social graf, hvor hver bruger er et toppunkt, og forbindelserne mellem dem er linjer. Rangering af brugere inden for en sådan graf kræver en bestemmelse af deres centralitet. Det vil sige, hvor mange andre mennesker, der er forbundet til dem, og hvor mange mennesker, der er forbundet til dem, og så videre, indtil du kommer til stammen af træstrukturen, der ligger til grund for forbundethed på en tjeneste som Twitter.
Det viser sig, at dette ikke er den slags problem, der uden videre kan håndteres selv af de sædvanlige arbejdsstationer i den videnskabelige supercomputing-verden - de GPGPU-drevne supercomputere, der udnytter de grafikchips, der normalt bruges til at gengive frodige 3D-miljøer i videospil. Disse GPGPU-arbejdsstationer tillader simpelthen ikke nok kontrol over, hvor mange processer der kører parallelt til effektivt at churne gennem sociale grafer så store som den repræsenteret af Twitter eller Facebook.
Det er derfor, David Ediger fra Georgia Tech, med hjælp fra en lang række samarbejdspartnere , henvendte sig til 128-CPU Cray XMT, der er anbragt ved Pacific Northwest National Laboratory. XMT er en favorit blandt supercomputing-hot-rodders og uber-nørder, som værdsætter dens finkornede, massivt flertrådede tunability. Denne maskine sættes normalt i brug for at løse problemer som hierarkisk Bayesiansk modellering til tekstanalyse eller analysere stabiliteten af USAs elnet , men Ediger havde det i tankerne på hver vildfarne tanke fra en enkelt dags værdi Twitter brandslange .
The Cray gjorde kort arbejde med Twitter og kasserede en hel dags forbindelser på under en time. Resultaterne vil ikke overraske nogen – på Twitter retweetes en lille brøkdel af kilder bredt, for det meste regering og medier, mens resten af tjenesten enten er folk, der taler i små grupper eller bogstaveligt talt taler til sig selv.
Pointen er dog, at det at smide en finjusteret Cray, der kører Edigers brugerdefinerede software - GraphCT - på Twitter, gjorde det muligt for forskerne at fordøje tjenesten i noget som realtid. Hvilket er præcis den slags kapacitet, som efterretningsbureauer, marketingfolk og måske endda Twitter selv kunne ønske at have.
