Google og Akamai: Cult of Secretcy vs. Kingdom of Openness

Du bør aldrig stole på dette tal, sagde Martin Farach-Colton, professor i datalogi ved Rutgers University, for lidt mere end et år siden. Folk gør et stort nummer ud af det, og det er ikke sandt.

Farach-Colton holdt et offentligt foredrag om sit toårige sabbatår hos Google. Nummeret, som han var nedsættende, var midt på hans PowerPoint-dias:

• 150 millioner forespørgsler/dag

Det næste slide havde et par flere numre:

• 1.000 forespørgsler/sek. (peak)
• 10.000+ servere
• Mere end 4 tera-ops/sek ved dagligt peak
• Indeks: 3 milliarder websider
• 4 milliarder dokumenter i alt
• 4+ petabytes disklager

Et par mennesker i publikum begyndte at fnise: Google-tallene stemte ikke.

Jeg begyndte selv at køre tallene. Lad os se: 4 tera-ops/sek betyder 4.000 milliarder operationer i sekundet; en top-of-the-line server kan udføre måske to milliarder operationer i sekundet, så det svarer til måske 2.000 servere - ikke 10.000. Fire petabytes er 4x1015 bytes lagerplads; sprede det over 10.000 servere, og du ville have 400 gigabyte pr. server, hvilket igen virker forkert, eftersom Farach-Colton tidligere havde sagt, at Google lægger to 80-gigabyte harddiske ind i hver server.

Og så er der problemet med 150 millioner forespørgsler om dagen. Hvis systemet håndterer en spidsbelastning på 1.000 forespørgsler i sekundet, svarer det til en spidsbelastning på 86,4 millioner forespørgsler om dagen - eller måske 40 millioner forespørgsler om dagen, hvis du antager, at systemet kun bruger halvdelen af ​​sin tid på spidskapacitet. Uanset hvordan du skruer op for matematikken, er Googles statistikker ikke selvkonsistente.

Disse tal er alle vanvittigt lave, fortsatte Farach-Colton. Google rapporterer altid meget, meget lavere tal end sandt.

Hver gang nogen fra Google sammensætter en ny præsentation, forklarede han, undersøger PR-afdelingen snakken og hacker tallene ned. Oprindeligt sagde han, sagde diaset med tallene, at 1.000 forespørgsler/sek. var minimumshastigheden, ikke toppen. Vi har mere end 10.000 servere. Det er plus meget.

Ligesom Googles søgemaskine vender tilbage øjeblikkeligt og tilsyneladende ubesværet med et svar på enhver forespørgsel, du sender den, og skjuler opgavens sande sværhedsgrad for brugerne, vil virksomheden også have, at deres konkurrenter holdes i mørke om problemets sværhedsgrad. Når alt kommer til alt, hvis Google offentliggjorde, hvor mange sider det har indekseret, og hvor mange computere det har i sine datacentre rundt om i verden, ville søgekonkurrenter som Yahoo!, Teoma og Mooter vide, hvor meget kapital de skulle rejse for at have en håb om at fortrænge kongen på toppen af ​​bakken.

Google har til tider haft svært ved at holde sin historie ved lige. Da vicepræsident for teknik Urs Hoelzle holdt et foredrag om Googles Linux-klynger på University of Washington i november 2002, gentog han det tal på 1.000 forespørgsler i sekundet - men han sagde, at foranstaltningen blev foretaget kl. 02.00 den 25. december. , 2001. Hans pointe, som er indlysende for alle i rummet, er, at selv i november 2002 lavede Google meget mere end 1.000 forespørgsler i sekundet - hvor mange flere var dog nogens gæt.

Fakta kan siver ud. Sidste Thanksgiving rapporterede New York Times, at Google havde krydset 100.000 server-grænsen. Hvis det er sandt, betyder det, at Google driver måske det største netværk af computere på planeten. Det simple faktum, at de kan bygge og drive datacentre af den størrelse, er forbløffende, siger Peter Christy, medstifter af NetsEdge Research Group, et markedsundersøgelses- og strategifirma i Silicon Valley. Christy, som har arbejdet i branchen i mere end 30 år, er forbløffet over omfanget af Googles systemer og virksomhedens kompetence til at betjene dem. Jeg tror ikke, der er nogen tæt på.

Det er denne evne til at bygge og drive utrolig tætte klynger, der lige så meget som alt andet er hemmeligheden bag Googles succes. Og årsagen, forklarer Marissa Mayer, virksomhedens direktør for forbrugerwebprodukter, har at gøre med den måde, Google startede på i Stanford.

I stedet for at få et par hurtige computere og køre dem til det maksimale, forklarede Mayer ved et rekrutteringsarrangement på MIT, at grundlæggerne Sergey Brin og Larry Page måtte nøjes med hånd-me-downs fra Stanfords datalogiske afdeling. De gik til læssepladsen for at se, hvem der fik nye computere, og spurgte derefter, om de kunne have de gamle, forældede maskiner, som de nye erstattede. Således var Brin og Page helt fra begyndelsen tvunget til at udvikle distribuerede algoritmer, der kørte på et netværk af ikke særlig pålidelige maskiner.

I dag er denne filosofi indbygget i virksomhedens DNA. Google køber de billigste computere, de kan finde, og propper dem i stativer og stativer i sine seks (eller flere) datacentre. Pc'er er rimeligt pålidelige, men hvis du har tusindvis af dem, kommer en til at fejle hver dag, sagde Hoelzle. Så hvis du bare kan købe 10 procent ekstra, er det stadig billigere end at købe en mere pålidelig maskine.

At arbejde hos Google, fortalte en ingeniør mig for nylig, er det nærmeste, du kan komme på at have en ubegrænset mængde computerkraft til din rådighed.

Åbenhedens Rige

Der er et andet firma, der har perfektioneret kunsten at køre et enormt antal computere med et forholdsvis lille personale. Det firma er Akamai.

Akamai er ikke et kendt ord nu, men det kom på forsiderne, da selskabet blev børsnoteret i november 1999 med det, der på det tidspunkt var det fjerdemest succesrige børsnoterede udbud i historien. Akamais aktie steg og gjorde milliardærer af sine grundlæggere. I årene efter, er Akamai imidlertid faldet i hårde tider. Det var ikke kun dot-com-krakket, der forårsagede betydelige fyringer og opgivelsen af ​​selskabets kontorer i Californien: Akamais medstifter og teknologichef Danny Lewin var ombord på American Airlines Flight 11 den 11. september og blev dræbt, da flyet blev fløjet ind i World Trade Center. Virksomhedens moral var ødelagt.

Akamais netværk fungerer på samme kompleksitetsskala som Googles. Selvom Akamai kun har 14.000 maskiner, er disse servere placeret på 2.500 forskellige steder spredt over hele kloden. Serverne bruges af virksomheder som CNN og Microsoft til at levere websider. Ligesom Googles servere bruges af praktisk talt alle på internettet i dag, er Akamais også det.

På grund af deres omfang har både Akamai og Google været nødt til at udvikle værktøjer og teknikker til at styre disse maskiner, fejlfinde ydeevneproblemer og håndtere fejl. Dette er ikke software, som en virksomhed kan købe fra hylden - de kræver besværlig intern udvikling. Det er faktisk software, der er en af ​​Akamais vigtigste konkurrencefordele.

Ja, nogle få andre organisationer kører også store klynger af computere. Både NASAs Ames Research Center og Virginia Tech har store klynger dedikeret til videnskabelig databehandling. Men der er vigtige forskelle mellem disse systemer og de klynger, som både Google og Akamai har skabt. De videnskabelige systemer er placeret et enkelt sted, ikke spredt over hele verden. De er generelt ikke direkte udsat for internettet. Og måske vigtigst af alt, så leverer de videnskabelige systemer ikke en vareservice til hundredvis af millioner internetbrugere hver dag: Google og Akamai skal levere 100 procent oppetid. Det er nemt at gå ud og købe 10.000 computere - alt hvad du behøver er kontanter. Det er meget sværere at få disse computere til at fungere sammen som en enkelt tjeneste, der understøtter millioner af samtidige brugere.

For at være retfærdig er der vigtige forskelle mellem Google og Akamai-forskelle, der sikrer, at Google ikke vil bryde ind i Akamais forretning snart, og heller ikke Akamai flytter ind i Googles. Begge virksomheder har udviklet infrastruktur til at køre massivt parallelle systemer, men de applikationer, de kører oven på disse systemer, er forskellige. Googles primære applikation er en søgemaskine. Akamai har derimod udviklet et system til levering af websider, streamingmedier og en række andre standard internetprotokoller.

En anden vigtig forskel, siger Christy, er, at Akamai har haft meget svært ved at skabe en klar forretningsmodel, der virker, hvorimod Google har haft en utrolig succes. Akamai er således begyndt at lede efter nye måder, hvorpå det kan sælge tjenester, som kun et massivt distribueret netværk kan levere. I kamp for lønsomhed har virksomheden været aggressivt på udkig efter nye muligheder for sin teknologi. Dette kan være grunden til, at Akamai, i modsætning til Google, var villig til at blive interviewet til denne artikel.

Vi startede med grundlæggende bitleveringsobjekter, fotos, bannere, annoncer, siger Tom Leighton, Akamais chefforsker. Vi gør det lokalt. Gør det hurtigt. Gør det pålideligt. Gør webstederne bedre.

Nu udvikler Akamai teknikker til at lade kunder køre deres applikationer direkte på virksomhedens distribuerede servere. Leighton siger, at 25 af Akamais største kunder har gjort dette. Systemet kan håndtere pludselige stigninger, hvilket gør det ideelt til tilfælde, hvor det er umuligt at forudse efterspørgslen.

For eksempel, siger Leighton, blev Akamais netværk brugt til at håndtere en tastaturgiveaway-konkurrence sponsoreret af Logitech. Logitech troede, at dens konkurrence kunne være populær, og skabte en omfattende række regler, der sikrede, at kun så mange tastaturer ville blive givet væk til hver stat og inden for en given tidsperiode. Men Logitech undervurderede groft, hvor mange mennesker der ville klikke sig ind til konkurrencen. Tidligere har sådanne undervurderinger fået meget omtalte internetbegivenheder som Victoria's Secrets webcast til at gå ned, frustrerede millioner af websurfere og generede virksomheden. Men ikke denne gang: Logitechs konkurrence kørte på Akamai-netværket uden problemer.

Logitech kunne selvfølgelig have forsøgt at bygge systemet selv. Det kunne have designet og testet en server, der kunne håndtere 100 samtidige brugere. Den server kan koste $5.000. Så kunne Logitech have købt 20 af disse servere for $100.000 og lagt dem i et datacenter. Men et enkelt datacenter kan blive overbelastet, så det giver måske mere mening at placere 10 af dem i ét datacenter på østkysten og 10 i et andet datacenter på vestkysten. Alligevel kunne det system kun håndtere 2.000 samtidige brugere: Det kunne være bedre at købe 100 servere til en samlet pris på $500.000 og placere dem i 10 forskellige datacentre. Men selv hvis de havde gjort dette, ville ingeniørerne hos Logitech ikke have haft nogen mulighed for at vide, om systemet rent faktisk ville have fungeret, da det blev testet - og de ville have investeret en enorm mængde penge i ingeniørarbejde, der ikke ville har været nødvendige efter arrangementet.

Og konkurrencer er ikke det eneste, der kan køre på Akamais netværk. Praktisk talt ethvert program skrevet i programmeringssproget Java kan køre på virksomhedens infrastruktur. Systemet kan håndtere pantansøgninger, kataloger og elektroniske indkøbsvogne. Akamai kører endda backend for Apples iTunes 99-cent musiktjeneste.

Måske fordi Akamai er så stolt af det system, det har bygget, er virksomheden meget åben omkring netværkets tekniske detaljer. Dets netværksdriftscenter i Cambridge, MA, har en glasvæg, så besøgende kan se en stor skærm med statistik. Da jeg besøgte virksomheden i januar, stod der på skærmen, at Akamai leverede 591.763 hits i sekundet med 14.372 CPU'er online, 14.563 gigahertz total processorkraft og 650 terabyte samlet lagerplads. Den 14. april var antallet steget til en toprate på 900.000 hits i sekundet og 43,71 milliarder forespørgsler leveret i en 24-timers periode. (Akamai ville ikke afsløre antallet af CPU'er online, fordi det tal er en del af dets kvartalsvise indtjeningsrapport, der vil blive frigivet den 28. april. Men det har ikke ændret sig meget, fortalte virksomhedens talsmand mig.)

Mail og skala

Ser vi fremad, har nogle få forretningsmuligheder en åbenlys appel til både Google og Akamai. For eksempel kunne begge virksomheder tage deres erfaring med at bygge store distribuerede klynger til at skabe et massivt backupsystem til små virksomheder og hjemme-pc-brugere. Eller de kunne overtage styringen af ​​hjemme-pc'er og gøre dem til smarte terminaler, der kører applikationer på fjernservere. Dette ville lade pc-brugere slippe for sliddet med at administrere deres egne maskiner, installere nye applikationer og holde antivirusprogrammer opdateret.

Og så er der e-mail. Tilbage den 1. april meddelte Google, at det ville gå ind i forbrugernes e-mail-virksomhed med en uortodoks pressemeddelelse: Søgning er nummer to på onlineaktivitet - e-mail er nummer ét: 'Heck, Yeah', siger Google Founders.

Siden da har Google modtaget betydelig omtale for det annoncerede design af deres Gmail-tilbud (Google Mail). Den gratis tjeneste lover forbrugerne en gigabyte postlagring (mere end hundrede gange den lagerplads, der tilbydes af andre webmailudbydere), forbløffende søgning gennem mailarkiver og løftet om, at forbrugerne aldrig behøver at slette en e-mail igen. Til at begynde med troede mange, at meddelelsen var en aprilsnar – en gigabyte pr. bruger virkede bare som for meget lagerplads. Men da langt de fleste brugere ikke vil bruge så meget lagerplads, er det Googles løfte virkelig siger, at Google kan købe nye harddiske hurtigere, end internettets brugere kan fylde dem op. [ Redaktørens note: Googles forslag om at finansiere Gmail ved at vise annoncer baseret på indholdet af brugernes e-mail har modtaget betydelig kritik fra en række privatlivsaktivister. Tidligere på måneden cirkulerede en række privatlivsaktivister et brev, hvor de bad Google om ikke at lancere Gmail, før disse privatlivsproblemer var blevet løst. Simson Garfinkel underskrev dette brev som tilhænger efter denne artikel blev skrevet, men før den blev offentliggjort.]

Googles infrastruktur ser ud til at være velegnet til implementering af en tjeneste som Gmail. Sidste sommer offentliggjorde Google et teknisk papir kaldet The Google File System (GFS), som tilsyneladende er den underliggende teknologi udviklet af Google til at tillade højhastighedsreplikering og adgang til data i hele dets klynger. Med GFS kunne hver brugers e-mail replikeres mellem flere forskellige Google-klynger; Når brugere logger på Gmail, kunne deres webbrowser automatisk blive dirigeret til den nærmeste klynge, der havde en kopi af deres beskeder.

Dette er svær teknologi at få rigtigt - og præcis den slags system, som Akamai har udviklet i de sidste seks år. Faktisk er der principielt ingen grund til, hvorfor Akamai ikke ret nemt kunne implementere et lignende storstilet e-mail-system på sine egne servere. Ingen grund, altså bortset fra virksomhedens filosofi.

Leighton tror ikke, at Akamai ville flytte ind i nogen forretning, der krævede, at virksomheden handlede direkte med slutbrugere. Mere sandsynligt, siger han, vil Akamai levere infrastrukturen til et andet firma, der ville være i stand til at udføre fakturering, kundesupport og markedsføring til slutbrugere. Vores fokus er at sælge ind i virksomheden, siger han.

George Hamilton, en analytiker hos Yankee Group, der dækker enterprise computing og netværk, er enig. Hamilton kalder ideen om, at Google skal konkurrere med Akamai, for langt ude. Men Google kunne hyre Akamai til at supplere Googles teknologibehov, siger han.

Alligevel virker et sådant partnerskab usandsynligt - i det mindste på overfladen. Google køber muligvis Akamai, sådan som virksomheden købte Pyra Labs i februar 2003 for at erhverve Pyras Blogger personlige webudgivelsessystem. Men Akamai, med sin åbenhedskultur, virker ikke som et godt match til hemmelighedsfulde Googles. Så er der det faktum, at 20 procent af Akamais omsætning nu kommer direkte fra Microsoft, ifølge Akamais kvartalsrapport fra november 2003. Googles rivalisering med Microsoft i internetsøgning (og nu i e-mail) er blevet kommenteret bredt i pressen; det er usandsynligt, at virksomheden ønsker at arbejde så tæt sammen med en så tæt Microsoft-partner.

Ted Schadler, vicepræsident hos markedsundersøgelsesfirmaet Forrester, siger, at det er muligt at forestille sig, at de to virksomheder konkurrerer, fordi de begge går efter den samme mulighed inden for massiv, distribueret databehandling. I den forstand har de samme vision. De skal bygge meget af den samme teknologi ud, fordi den ikke eksisterer. De skal lære mange af de samme lektioner og udvikle mange af de samme teknologier og forretningsmodeller.

Schadler siger, at Akamai og Google begge er eksempler på, hvad han kalder programmerbare internetforretningskanaler. Disse kanaler er virksomheder, der tilbyder stor infrastruktur, der kan tilbyde tjenester af høj kvalitet på internettet til hundredvis af millioner af brugere med et enkelt tryk på en kontakt. Google og Akamai er sådanne virksomheder, men det er Amazon.com, eBay og endda Yahoo!. De er alle tjenester, der muliggør forretningsaktivitetsbaserede tjenester, der [kan] skaleres sikkert, siger Schadler.

Hvis jeg var en væddemålsmand, tilføjer Schadler, ville jeg sige, at Google er meget mere interesseret i at servicere kunden, og Akamai er mere interesseret i at levere infrastrukturen - det er detailhandel kontra engros. Der vil være masser og masser af disse detail-orienterede tjenester.

Hvis det er sandt, kan Google pludselig finde sig i at konkurrere med en virksomhed, der ligesom Google selv syntes at komme ud af ingenting. Bortset fra denne gang, ville det firma ikke skulle finde ud af nogen af ​​trickene ved selv at drive den massive infrastruktur.

Og det forklarer, hvorfor Google er så hemmelighedsfuld.

skjule