En webcrawler är ett relativt enkelt automatiserat program, eller skript, som metodiskt skannar eller ”crawlar” genom Internetsidor för att skapa ett index över de data som den letar efter; dessa program är vanligtvis gjorda för att användas endast en gång, men de kan också programmeras för långvarig användning. Det finns flera användningsområden för programmet, kanske den mest populära är sökmotorer som använder det för att förse webbsurfare med relevanta webbplatser. Andra användare är lingvister och marknadsforskare, eller alla som försöker söka information från Internet på ett organiserat sätt. Alternativa namn för en sökrobot inkluderar webbspindel, webbrobot, bot, sökrobot och automatisk indexerare. Crawler-program kan köpas på Internet, eller från många företag som säljer datorprogram, och programmen går att ladda ner till de flesta datorer.
vanliga användningsområden
Det finns olika användningsområden för sökrobotar, men i huvudsak kan en sökrobot användas av alla som vill samla information på Internet. Sökmotorer använder ofta webbsökrobotar för att samla in information om vad som är tillgängligt på offentliga webbsidor. Deras primära syfte är att samla in data så att när internetsurfare anger en sökterm på sin webbplats, kan de snabbt förse surfaren med relevanta webbplatser. Språkvetare kan använda en sökrobot för att utföra en textanalys; det vill säga, de kan kamma Internet för att avgöra vilka ord som är vanligt förekommande idag. Marknadsforskare kan använda en sökrobot för att fastställa och bedöma trender på en viss marknad.
Webbcrawlning är en viktig metod för att samla in data på och hänga med i det snabbt växande Internet. Ett stort antal webbsidor läggs kontinuerligt till varje dag, och informationen förändras ständigt. En sökrobot är ett sätt för sökmotorerna och andra användare att regelbundet se till att deras databaser är uppdaterade. Det finns många olagliga användningar av sökrobotar, som att hacka en server för mer information än vad som ges fritt.
Hur det fungerar
När en sökmotors sökrobot besöker en webbsida ”läser” den den synliga texten, hyperlänkarna och innehållet i de olika taggar som används på webbplatsen, till exempel nyckelordsrika metataggar. Med hjälp av informationen som samlats in från sökroboten kommer en sökmotor sedan att avgöra vad webbplatsen handlar om och indexera informationen. Webbplatsen ingår sedan i sökmotorns databas och dess sidrankningsprocess.
Webbsökrobotar kan endast fungera en gång, t.ex. för ett visst engångsprojekt. Om syftet är för något långsiktigt, vilket är fallet med sökmotorer, kan sökrobotar programmeras att kamma igenom Internet med jämna mellanrum för att avgöra om det har skett några betydande förändringar. Om en webbplats upplever mycket trafik eller tekniska problem, kan spindeln programmeras att notera det och besöka webbplatsen igen, förhoppningsvis efter att de tekniska problemen har avtagit.