Akamais algoritmer

Du laver regnestykket. Tom Leighton, professor ved MIT's Laboratory for Computer Science, eller LCS, ejer næsten 10 millioner aktier i Akamai Technologies, et selskab, han var med til at stifte i august 1998. I oktober sidste år blev Akamai børsnoteret med priser ved børsnoteringen (IPO) ) starter ved $26 pr. aktie; ved udgangen af ​​dagen havde investorerne budt prisen op til $145 pr. aktie. En måned senere blev aktien solgt til $327 per aktie. Uanset hvor meget matematikangst du måtte have, får du pointen - Tom Leighton var blevet en meget rig mand.

En akademiker, hvis ekspertise er i parallelle algoritmer og anvendt matematik, Leighton er ved første øjekast en usandsynlig kandidat til en internet tweeds-to-riches succeshistorie. Men ved nærmere undersøgelse giver det fuldkommen mening. Leighton har i årevis undersøgt, hvordan komplekse netværk fungerer – og hvordan de kan optimeres. Så for fem år siden, da Tim Berners-Lee (opfinderen af ​​World Wide Web) kom ned ad gangen på LCS på udkig efter måder til bedre at styre den eskalerende trafikstrøm på internettet, var Leighton og hans hold af kandidatstuderende en indlysende sted at falde ind.

Denne historie var en del af vores september 2000-udgave

• Se resten af ​​problemet
• Abonner

I løbet af de næste mange år forsøgte Leighton og en blanding af MIT kandidatstuderende og bachelorstuderende at finde ud af en bedre måde at administrere og distribuere indhold på nettet. I begyndelsen af ​​1998 deltog gruppen, som omfattede kandidatstuderende Daniel Lewin (som sammen med Leighton og Jonathan Seelig, en elev ved MIT's Sloan School, fortsatte med at grundlægge Akamai), i MIT $50K Entrepreneurship Competition. Holdet var en finalist, men vandt ikke. Alligevel kom venturekapitalisterne til at banke på. Og resten er internethistorie. I dag driver virksomheden et verdensomspændende netværk af mere end 4.000 servere, der distribuerer webindhold til kunder som Yahoo!, CNN og C-SPAN; hvis en pc-bruger for eksempel anmoder om videostreaming fra C-SPANs websted, hjælper Akamais serversystem med at levere dette indhold og undgår derved flaskehalse på C-SPANs centraliserede websted. Det distribuerede netværk gør levering af indhold over internettet hurtigere og mere pålidelig.

På trods af at have ramt IPO-jackpotten, viser den bløde MIT-professor (i øjeblikket på orlov fra LCS) få åbenlyse tegn på materiel succes. I Akamais nye hovedkvarter, der støder op til MIT-campus, indtager Leighton, virksomhedens chefforsker, et beskedent hjørnekontor, der fører tilsyn med en labyrint af aflukker. Det er i høj grad en professors kontor, og Leighton taler i tålmodige og præcise ord fra en, der er vant til at forklare, hvordan tingene fungerer. TR Seniorredaktør David Rotman gik for nylig over til en lektion om at styre trafik på nutidens internet.

TR: Hvornår gik det op for dig, at du kunne bruge algoritmer til at optimere indholdslevering på nettet?
LEIGHTON: Første gang jeg nogensinde tænkte på internettet var i 1995. Mit kontor [ved MIT's LCS] er nede ad gangen fra Tim Berners-Lee og Web Consortium. Over tid talte vi om nogle af de problemer, internettet står over for. Det er den slags store netværksproblemer, som vores gruppe arbejdede på, og som jeg har en langsigtet interesse i. Så vi påtog os nogle af dem som forskningsprojekter.

TR: I en vis forstand er internettet virkelig den ultimative netværksudfordring, er det ikke?
LEIGHTON: Ja. Det er rigtigt.

TR: Hvad var det problem, du startede med i '95?
LEIGHTON: Vi undersøgte måder at håndtere flash crowding og hot-spotting på. Det er der, hvor mange mennesker går til et websted ad gangen og oversvømmer webstedet og ødelægger netværket omkring det - og gør alle utilfredse.

TR: Kan du forklare de teknologier, du har udviklet?
LEIGHTON: I dag er vi sandsynligvis et af verdens største distribuerede netværk. På et højt niveau serverer vi indhold eller håndterer applikationer til slutbrugere, og det gør vi fra servere, der er tæt på slutbrugerne. Close er noget, der ændrer sig dynamisk, baseret på netværksforhold, serverydelse og belastning. Fordi vi er tæt på, kan vi undgå mange af de afbrydelser, forsinkelser og pakketab, som du kan opleve, hvis du er langt væk. Før fik du typisk din interaktion med et centralt websted. Og det var typisk langt væk. Nu har du typisk mange af dine interaktioner - ikke alle, men meget - med en Akamai-server, der er i nærheden af ​​dig og vælges i realtid.

TR: Hvad er tricks og udfordringer for at få dette distribuerede system til at fungere?
LEIGHTON: Det er et ekstremt hårdt område; du kan ikke gå og bare smide en masse servere derud og få dem alle til at arbejde med hinanden. Selve serverne kommer til at svigte. Processorer kommer til at svigte. Internettet har alle mulige sine egne problemer og fejltilstande. Så alle disse slags ting skal indbygges i den algoritmiske tilgang. Hvordan udvikler man en decentraliseret algoritme med ufuldkommen information, som stadig vil virke? Det er en kæmpe udfordring. Men det er klart, hvad du skal gøre. Du kan ikke have noget centralt fejlpunkt, ellers vil systemet falde ned. Jeg kan ikke komme i tanke om en komponent eller et stykke hardware, der ikke har fejlet på et tidspunkt eller et sted. Så det er givet [at du har brug for et distribueret system].

Når en klient kommer til en af ​​vores kunder på udkig efter indhold, skal vi finde ud af, hvor denne klient er, hvilken af ​​vores lokationer på det tidspunkt, der er bedst at betjene kunden fra, og hvilke belastningsforhold der er, så vi ikke overbelaste noget. Vi er nødt til at håndtere flash-mængder, der er både geografiske og indholdsspecifikke. Vi er nødt til at replikere indholdet med det samme for at håndtere enhver af den slags problemer, men du har ikke råd til at have kopier af alt overalt. Du er nødt til at træffe disse beslutninger og svare tilbage til kunderne på millisekunder. Vi skal være automatiske. Og når brikker fejler, skal du automatisk kompensere for det.

TR: Er det det du kalder fejltolerant?
LEIGHTON: Ja, og du skal være fejltolerant på tværs af alle aspekter. Så er der også de ikke-oplagte ting. Ligesom fakturering. Vi serverer milliarder af hits om dagen, og vi fakturerer for hvert enkelt hit. Vi er nødt til at finde ud af, hvis indhold det var, og hvor mange bytes det har, og fakturere dem for det. Oven i købet har vi en service, som vi tilbyder vores kunder, hvor de inden for 60 sekunder kan se, hvor mange hits vi serverede for dem de sidste 60 sekunder. Derudover kan vi opdele for vores kunder, hvor hits kommer fra, efter land eller stat. Det er et udfordrende algoritmisk problem. Hvordan gør man egentlig det? Og få det til at fungere med en begrænset mængde hardware og ressourcer?

TR: Hardware er ikke rigtig nøglen til dette, er det?
LEIGHTON: Det er ikke engang en væsentlig komponent. Jeg ønsker ikke at forklejne vores hardwarepartnere, men nøglen her er algoritmen og softwareinfrastrukturen. Det er kritisk.

TR: Hvad er din konkurrence med at tilbyde et distribueret netværk til levering af indhold?
LEIGHTON: Der er ikke rigtig meget derude. Vi er i en tid, hvor der er mange forretningsplaner, og der er mange historier. Der er ikke meget i vejen for rigtige tjenester tilgængelige i dag. Stort set den eneste konkurrent i vores rum er Digital Island, som for nylig købte Sandpiper [Networks]. Der er andre, der har annonceret [forretningsplaner], men som ikke aktivt fører trafik endnu. En af de ting, der kendetegner Akamai, er mængden af ​​forskning og ingeniør- og R&D-indsats, der gik med at designe systemet. Det er ikke bare at smide en masse kasser derud. Der er virksomheder, der har prøvet at gøre det uden et distribueret system. De virksomheder, der annoncerede tjenester baseret på denne tilgang for to eller tre år siden, er ikke stadig i gang. At gøre det virkede ikke.

TR: Hvad er de kommende udfordringer for teknologien? Er det for at levere indhold hurtigere?
LEIGHTON: Det er en komponent. Vi forsøger at leve op til løftet om internettet. Der er tanken om, at der sker en enorm revolution med hensyn til internettet. Samtidig er der frustration på grund af begrænsningerne. Det, vi forsøger at gøre, er at gøre internettet mere nyttigt. Og en del af det gør det hurtigere og mere pålideligt. En anden komponent, noget relateret, er at muliggøre levering af mere berigende, mere aktiverende indhold. Hvis vi kan gøre streaming bedre, og i dette tilfælde er hastigheden ikke så meget problemet, det er båndbredden og uden pakketab, vil du få et meget bedre billede på din skærm; du vil gøre mere med det, og flere mennesker vil bruge det til at formidle indhold og information. Og det er uvurderligt til at berige internettets kraft.

Men ikke alt skubber lidt. Akamai tilbyder tjenester til funktioner såsom internetkonferencer, der for eksempel muliggør fjernundervisning. Med disse tjenester kan indholdsudbydere eller virksomhedskunder effektivt levere indhold og interagere med små eller store publikummer på nettet gennem live lyd og video; der er funktioner til deling af præsentationer, publikumsafstemning og moderering af beskeder.

TR: Når du introducerer en ny funktion som for eksempel konferencer, hvilke krav stiller det så til netværket?
LEIGHTON: Hvordan vil du implementere det? Hvordan vil du integrere det i denne massive distribuerede platform? Hvordan vil du vedligeholde det for tusindvis af kunder? Du har tusindvis af kunder og hundredvis af millioner af mennesker, der får adgang til disse kunder, og vi sidder midt imellem. Og det hele skal fungere af sig selv. Du kan ikke abe rundt. At levere konferencer lyder enkelt. Men det er ikke så enkelt, når man taler om denne form for skala. Når folk tænker på streaming, tænker de på en enkelt kilde, hvor indholdet kommer fra, og så forgrener det sig i et træ gennem internettet. De steder kan gå i stykker, og så er alle de mennesker nedstrøms uheldige. Vi har udviklet en helt ny måde at gøre det på, så der ikke er noget kritisk punkt for fiasko. Hvis kilden dør, så sidder du fast. Men når først [indholdet] er ude af kilden, kopierer vi det og spreder det i hele systemet. Så det er ikke et træ.

TR: Hvordan ser det ud?
LEIGHTON: Det er svært at beskrive. Måden at tænke på er, at mellem kilden og destinationen har du flere transmissioner i gang, så du kan miste indhold på disse stier; du kan have pakketab på nogen eller alle af dem, men ved endepunktet har du nok information, der kommer ind fra disse steder, så du kan rekonstruere signalet. Så hvis noget bliver dræbt undervejs, såsom en sti bliver dræbt, er ingen berørt.

TR: Vi har alle oplevet frustrationer med videostreaming. Med hensyn til teknologien, hvad skal der til for at gøre den mere pålidelig? Hvornår vil vi være i stand til at se webcasts lige så nemt som tv på fuld skærm?
LEIGHTON: For at videostreaming skal være mere pålidelig, har du brug for en indholdsdistributionstjeneste til at levere bitsene pålideligt til kanten af ​​netværket, og så skal du have en pålidelig sidste mile-forbindelse til internettet. Hvis du vil have video i høj kvalitet, så skal du hellere have en højbåndsforbindelse til internettet. Der vil stadig gå noget tid, før du kan få videostreams i tv-kvalitet på udbredt grundlag.

Vi har demonstreret en megabit-per-sekund livestream. Faktisk har vi for nylig sendt tusindvis af streams på én megabit pr. sekund til livekunder, der fik adgang til en hovedtale til konferencen af ​​Steve Jobs [administrerende direktør for Apple Computer]. Dette er en vigtig milepæl for internettet. Med den teknologi får du en videostream i meget høj kvalitet. Hvis den sidste mile er bredbånd, så er du klar til at gå. En ting, vi arbejder på, er båndbreddeprofilering. Ideen er automatisk at registrere båndbredden for den sidste mile. Har klienten en bredbåndsforbindelse, et 28K-modem, eller er det smalbånds-en mobiltelefon eller noget? Så leverer vi indholdet som funktion af det. Så hvis du opdager, at klienten har høj båndbredde, får de versionen med høj båndbredde - den streamede version i modsætning til den statiske version. Eller i tilfælde af smal båndbredde får du en printet version i modsætning til grafikken.

TR: Nettet ser ud til at ændre sig med funktioner som videostreaming og konferencer. Hvad skal Akamai arbejde på om fem år? Hvordan tror du, at internettet vil se ud så?
LEIGHTON: Tingene går så hurtigt, det er virkelig svært at forudsige. Folk, der forsøger at forudsige, ender med at spise deres ord. Jeg tror, ​​vi kun er ved begyndelsen af ​​internetrevolutionen. Jeg tror ikke engang, vi er begyndt at tænke på alle de ting, vi kan lave på internettet. Jeg kan ikke fortælle dig, hvad der bliver den varme service om fem år. Jeg ved ikke. Jeg vil til da håbe, at for eksempel kvaliteten af ​​streaming er meget bedre. At det er en del af hverdagen. I det mindste ville jeg forvente, at den typiske weboplevelse bliver rigere, mere effektiv og mere pålidelig, end den er i dag.

TR: Du bliver af mange set som en model for en akademiker, der gør det stort som iværksætter i den nye økonomi. Hvad fortæller du dem, der ønsker at efterligne din succes?
LEIGHTON: Jeg har aldrig haft en ambition om at være iværksætter. Jeg elsker akademikere og var med til at stifte Akamai, fordi vi følte, at det var den bedste måde at overføre vores teknologi fra et forskningsmiljø til praksis. Det føltes virkelig rart at tage teknologi, især teknologi ud af et universitet, og gøre en forskel med det. Det er nok den største belønning. Det tager ofte 10 til 20 år for en teknologi på et universitet for alvor at vise sig i praksis. Og denne gang er vi i stand til at reducere den tid dramatisk. Jeg er meget glad for at skrive et papir, som kun fem personer læser. Ret kloge mennesker vil læse det, og det får jeg et kick ud af. Det har jeg brugt hele mit liv på. Men det her er noget med en chance for at gøre en forskel.

TR: Savner du nogensinde de dage, hvor du, som du udtrykte det, brugte din tid på at skrive artikler, som måske fem personer var i stand til at læse og forstå?
LEIGHTON: Ja, selvom jeg ikke har meget tid til at tænke over det.

skjule