En sökmotor är ett datorprogram som fungerar som ett sätt att hämta information från en databas, baserat på vissa kriterier definierade av användaren. Moderna sökdatabaser som innehåller enorma mängder data, insamlad från World Wide Web, nyhetsgrupper och katalogprojekt.
Innan World Wide Web existerade, men efter Internets tillkomst och dess efterföljande popularitet inom universitetskretsen, skapades den första sökmotorn. Vid denna tidpunkt i historien – i slutet av 1980-talet och början av 1990-talet – var ett av de viktigaste protokollen som användes på Internet filöverföringsprotokollet (FTP). FTP-servrar fanns över hela världen, vanligtvis på universitetsområden, forskningsanläggningar eller statliga myndigheter. Några studenter vid McGill University i Montreal beslutade att en centraliserad databas med filer tillgängliga på de olika populära FTP-servrarna skulle hjälpa till att spara tid och erbjuda en fantastisk tjänst till andra. Detta var ursprunget till Archie-sökmotorn.
Archie, som var en förkortning för arkiv, var ett program som regelbundet loggade in på FTP-servrar i sin lista och gjorde ett index över vilka filer som fanns på servern. Eftersom processortid och bandbredd fortfarande var en ganska värdefull vara, letade Archie bara efter uppdateringar varje månad eller så. Först var det meningen att indexet som Archie byggde skulle kontrolleras med Unix-kommandot grep, men ett bättre användargränssnitt utvecklades snart för att möjliggöra enkel sökning i indexet. Efter Archie dök en handfull sökmotorer upp för att söka i liknande Gopher-protokoll – två av de mest kända är Jughead och Veronica. Archie blev relativt föråldrad med tillkomsten av World Wide Web och efterföljande sökmotorer, men Archie-servrar finns fortfarande.
1993, inte långt efter skapandet av World Wide Web, utvecklade Matthew Gray World Wide Web Wanderer, som var den första webbroboten. World Wide Web Wanderer indexerade alla webbplatser som fanns på internet genom att fånga deras webbadresser, men spårade inte något av det faktiska innehållet på webbplatserna. Indexet förknippat med Wanderer, som var en tidig sorts sökmotor, kallades Wandex.
Några andra små projekt växte upp efter Wanderer, som började närma sig den moderna sökmotorn. Dessa inkluderade World Wide Web Worm, RBSE-spindeln (Repository-Based Software Engineering) och JumpStation. Alla dessa tre använde data som samlats in av webbrobotar för att returnera den informationen till användarna. Ändå returnerades informationen bara ofiltrerad för det mesta, även om RBSE försökte rangordna värdet på sidorna.
1993 släppte ett företag som grundades av några Stanford-studenter, som heter Excite, vad som utan tvekan är den första sökmotorn som faktiskt införlivar analys av sidans innehåll. Detta första erbjudande var avsett för att söka på en webbplats, dock inte för att söka på webben som helhet.
Men 1994 fick sökmotorns värld ett stort genombrott. Ett företag som heter WebCrawler gick live med en sökmotor som inte bara fångade titeln och rubriken på sidor på Internet, utan också tog allt innehåll. WebCrawler var enormt framgångsrik — så framgångsrik att den en stor del av tiden inte ens kunde användas eftersom alla dess systemresurser användes.
Lite senare samma år släpptes Lycos, inklusive många av samma funktioner som WebCrawler, och bygger vidare på dem. Lycos rangordnade sina resultat baserat på relevans och tillät användaren att justera ett antal inställningar för att få resultat som passade bättre. Lycos var också enormt – inom det året hade det långt över en miljon webbplatser arkiverade och inom två år hade det nått 60 miljoner.