Den osynliga webben är det dolda området på Internet som inte söks automatiskt av sökmotorer. Det är information som är fritt tillgänglig på Internet, men som inte kommer att hämtas av vanliga sökförfrågningar. Informationen som är gömd på den osynliga webben kräver lite mer arbete att hitta.
Den synliga webben är information som du kan se eller hämta från sökmotorer. Den osynliga webben kallas ibland för den djupa webben. Om du tänker på Internet som en gigantisk databas är en del av informationen i databasen lättare att hitta än andra. Informationen som finns på den synliga webben är bara en bråkdel av den information som finns tillgänglig på Internet.
Sökmotordatabaser på Internet innehåller redan enorma mängder information. När du skriver en fråga i en sökmotor kommer den upp en lista med möjliga sidor som kan svara på din fråga. Det är billigare för sökmotorn att ta fram dessa svarssidor än att lagra alla möjliga sidor om ämnet du letar efter. Det tar också mindre plats i sökmotordatabasen.
Tänk på de miljontals människor som använder internet varje dag. De ställer frågor till sökmotorerna, slår upp ämnen eller bara surfar på nätet. Det är lättare för databasen att ge ut svarssidan än att komma åt webbsidorna direkt.
Ett sätt att komma åt material på den osynliga webben är helt enkelt att sätta ordet databas efter din sökfråga. Om du letar efter semester i Irland, använd orden semester i Irlands databas. Detta kommer att styra sökmotorn att kontrollera sökbara databaser om ditt ämne. Många databaser som lagrar information har ordet databas på sina webbsidor, vilket gör dem lättare att hitta.
Det finns vissa webbsidor som finns på den osynliga webben av rent tekniska skäl. Databaser skapas med hjälp av spindlar. Det här är datorprogram som söker runt på webben och letar efter information. Spindlarna kan dock inte tänka eller skriva. De kan hoppa från länk till länk, men kan inte tänka själva.
Om spindeln stöter på en webbsida som behöver lösenordsåtkomst har de ingen möjlighet att komma in på den sidan. Det finns många webbplatser som kräver att användaren loggar in och använder ett lösenord för att komma in och se sitt innehåll. Om en webbsida har skapats utan den vanliga HTML-koden, vilket är ett grundläggande webbspråk, är det inte alltid lätt att läsa den. Till exempel kan ett PDF-dokument bara nås som en länk och inte lätt att hitta som en HTML-webbsida.
En annan länk som spindlarna inte kommer att gå till är någon länk som har ett frågetecken. Spindlar informeras om att inte gå till länkar med ett frågetecken, eftersom de kan vara fällor för att snärja spindlarna. Länken kan också innehålla dåligt skrivet skript och kanske inte lagras i de vanliga databaserna. Dessa länkar kommer endast att vara tillgängliga när du söker i databaser på den osynliga webben.
Sökmotorer uppdateras med sofistikerade söktekniker för att komma åt den osynliga webben. Man tror att med tiden kommer den osynliga webben att bli mer synlig. Fram till dess handlar det om att använda hjärnkraft för att ifrågasätta sökmotorerna och surfa länkar för att hitta information.