211service.com
Du kan også blive den næste Google
Jeg var hos Google i fire år, og Google har åbenbart et par flere computere, end vi gør, siger Tom Annau, VP of engineering hos Blekko, søgemaskinen, der hævder at være ligestillet med de eksisterende søgegiganter Bing og Google – minus spam.
Ved at bruge nye websteder som proxy, er væksten i menneskelig viden aftaget...
Men mængden af faktisk, nyttig, interessant information på internettet stiger ikke så hurtigt som Moores lov, tilføjer han.
Moores lov er ikke så meget en lov som en generel tendens i mikroprocessorindustrien – lige så meget et produkt af en årtier lang R&D-indsats fra virksomheder som Intel som et resultat af eventuelle underliggende fysiske principper. Den oplyser, at antallet af mikroprocessorer, du kan få for en krone, groft fordobles hver 18. måned. Dette betyder mindre, hurtigere chips, hvis kræfter i det mindste er vokset eksponentielt siden 1960'erne.
I modsætning hertil væksten af internettet kan udjævnes . Alligevel, hvordan kunne enhver virksomhed, langt mindre en startup, overhovedet håbe på at konkurrere med den virkelig gigantiske server- og netværksinfrastruktur fra virksomheder som Google og Microsoft?
Websøgning er stadig et program, der flytter grænserne for nuværende computerenheder ret hårdt, siger Annau. Men Blekko opnår et komplet, ajourført indeks over nettet med mindre end 1000 servere – sandsynligvis færre, end der ville være at finde i nogen af Googles primære datacentre – ved at udnytte at reducere problemet ned til en håndterbar størrelse i måder, som søgegiganterne ikke kan eller vil.
Vi forsøger at undgå at crawle spam og andet dårligt indhold, siger Annau. Jeg tror, at andre motorer har en crawl først stille spørgsmål senere politik. En effektivitet, vi opnår, er bare ikke at gennemsøge splogs [spamblogs] og andet maskingenereret sludder.
Næsten alt det maskingenererede indhold på nettet er produceret netop for at fange søgemaskinespiders, der gennemgår det, og for at proppe deres indekser med annoncefyldte sider. Ved at undgå disse websteder sammen – ved at bruge spam-detekterende algoritmer og menneskelig kuration – sparer Blekko enorme mængder af ressourcer.
Der er et vist omfang, ud over hvilket, hvis du bliver ved med at crawle, vil du ikke crawle flere interessante eller nyttige eller gode ting – der er en masse faldende afkast på en stor webcrawl, siger Annau.
Blekko anvender også en taktik, der bruges af andre søgemaskiner - en delt crawl, der grundigt indekserer hele nettet, inklusive meget af dets statiske indhold, sjældnere end en hurtig crawl, der konstant genindekserer websteder, der ændrer sig ofte, såsom nyheder og blogs.
Vi gennemsøger aggressivt masser af højkvalitets, hurtigt skiftende kilder, siger Annau. Du kan se, at når du laver en skråstreg-dato-søgning - du kan se ting, der er kommet ind for et øjeblik siden.
Moores lov går videre.
(DC)Wgsimon
Annaus lange syn på søgning er, at indeksering af hele nettet – eller i det mindste de nyttige dele – bliver mere overskueligt, ikke mindre. I denne beregning annoncerer Microsoft og Google og andre store søgemaskiner omfanget af deres datacentre til dels for at skræmme potentielle rivaler; at få adgangsbarriererne i søgebranchen til at virke højere, end de faktisk er.
Uanset om vi lykkes eller fejler som opstart, vil det være sandt, at hvert år, der går, vil individuelle servere blive mere og mere kraftfulde, og muligheden for at crawle og indeksere den nyttige information på nettet vil faktisk blive mere og mere overkommelig, siger Annau.
Hver startup er en hypotese om en vis effektivitet i markedet, som de opfatter, tilføjer han. For Blekko og andre startups af søgemaskiner, såsom Gabriel Weinbergs enmandsoperation Duck Duck Go, er denne effektivitet, at summen af menneskelig viden vil blive overgået, praktisk, af stigningstakten i computerkraft.
Som Rich Skrenta, administrerende direktør for Blekko, ynder at påpege, er væksten i Wikipedia ved at flade ud. Der er bare ikke så mange emner i verden – folk kan tilføje og redigere sider, men du vil ikke bare konstant se en fordobling i størrelsen, siger Annau.
