Sökmotorer är i grunden datoralgoritmer som hjälper användare att hitta den specifika information de letar efter. Olika fungerar på olika specifika sätt, men de använder alla samma grundläggande principer.
Det första sökmotorerna måste göra för att fungera är att skapa en lokal databas av, i princip, Internet. Tidiga versioner indexerade bara nyckelord och rubriker på sidor, men nutida versioner indexerar all text på varje sida, såväl som en hel del annan information om den sidans relation till andra sidor, och i vissa fall hela eller en del av media finns även på sidan. Sökmotorer måste indexera all denna information så att de kan köra sökningar på den effektivt, snarare än att behöva springa runt på Internet varje gång en sökfråga skickas.
Sökmotorer skapar dessa databaser genom att utföra periodiska genomsökningar av Internet. Tidiga versioner krävde ofta att sidor skickades till dem för att kunna genomsöka dem, men nu hittas de flesta sidor genom att följa länkar från andra sidor. Det som kallas robotar eller spindlar, datorprogram byggda för att indexera sidor, fladdra från sida till sida, registrera all information på sidan och följa varje länk till nya sidor. Olika sökmotorer uppdaterar sina index med olika intervall, beroende på hur många spindlar de ständigt har som kryper, och hur snabbt dessa spindlar kryper, med vissa som jobbar sig igenom Internet varje dag eller två, och andra bara gör en periodisk uppdatering varje vecka eller månad.
När spindeln går igenom dessa sidor, registrerar den orden den hittar på sidorna. Den gör anteckningar om hur många gånger varje ord förekommer, om orden är viktade på vissa sätt, kanske baserat på storlek, plats eller HTML-uppmärkning, och bestämmer hur relevanta orden är baserat på länkarna som kommer in på sidan, och på sidans allmänna sammanhang.
Sökmotorer måste sedan väga värdet på varje sida och värdet på varje sida för orden som visas på den. Det här är den svåraste delen, men också den viktigaste. På den enklaste nivån kan den helt enkelt hålla reda på varje ord på sidan och registrera den sidan som relevant för sökningar med det sökordet. Detta skulle dock inte göra mycket nytta för de flesta användare, eftersom det som önskas är den mest relevanta sidan för deras sökfråga. Så olika motorer kommer på olika sätt att väga vikt.
Algoritmerna som olika sökmotorer använder är väl skyddade, för att hindra människor från att specifikt skapa sidor för att få bättre rankning, eller åtminstone för att begränsa graden i vilken de kan göra det. Denna skillnad är anledningen till att olika motorer ger olika resultat för samma villkor. Google kan avgöra att en sida är det bästa resultatet för en sökterm, och Ask kan avgöra att samma sida inte ens är bland topp 50. Allt detta är bara baserat på hur de värderar inkommande och utgående länkar, tätheten av sökorden de finner viktiga, hur de värderar olika placering av ord och valfritt antal mindre faktorer.
Den senaste trenden inom sökmotorer, och sannolikt framtiden för sökning i allmänhet, är att gå bort från nyckelordsbaserade sökningar till konceptbaserade sökningar. I denna nya form av sökning, istället för att begränsa en sökning till de nyckelord som den som anger, försöker programmet ta reda på vad dessa nyckelord betyder, så att det kan föreslå sidor som kanske inte innehåller det exakta ordet, men som ändå är aktuella för Sök. Det här är fortfarande ett område under utveckling, men det verkar hittills ha stor potential för att göra sökningar mer relevanta, vilket gör webben till en ännu enklare plats att hitta exakt det du letar efter.