Mesin pencari adalah program komputer yang bertindak sebagai cara mengambil informasi dari database, berdasarkan kriteria tertentu yang ditentukan oleh pengguna. Yang modern mencari database yang berisi sejumlah besar data, dikumpulkan dari World Wide Web, newsgroup, dan proyek direktori.
Sebelum World Wide Web ada, tetapi setelah munculnya Internet dan popularitas berikutnya di sirkuit universitas, mesin pencari pertama dibuat. Pada titik ini dalam sejarah — pada akhir 1980-an dan awal 1990-an — salah satu protokol utama yang digunakan di Internet adalah protokol transfer file (FTP). Server FTP ada di seluruh dunia, biasanya di kampus universitas, fasilitas penelitian, atau lembaga pemerintah. Beberapa mahasiswa di McGill University di Montreal memutuskan bahwa database terpusat dari file yang tersedia di berbagai server FTP populer akan membantu menghemat waktu dan menawarkan layanan hebat kepada orang lain. Ini adalah asal mula mesin pencari Archie.
Archie, yang merupakan kependekan dari arsip, adalah program yang secara teratur masuk ke server FTP dalam daftarnya, dan membuat indeks dari file apa yang ada di server. Karena waktu prosesor dan bandwidth masih merupakan komoditas yang cukup berharga, Archie hanya memeriksa pembaruan setiap bulan atau lebih. Pada awalnya indeks yang dibuat Archie dimaksudkan untuk diperiksa menggunakan perintah Unix grep, tetapi antarmuka pengguna yang lebih baik segera dikembangkan untuk memudahkan pencarian indeks. Mengikuti Archie, beberapa mesin pencari bermunculan untuk mencari protokol Gopher yang serupa — dua yang paling terkenal adalah Jughead dan Veronica. Archie menjadi relatif usang dengan munculnya World Wide Web dan mesin pencari berikutnya, tetapi server Archie masih ada.
Pada tahun 1993, tidak lama setelah pembuatan World Wide Web, Matthew Gray mengembangkan World Wide Web Wanderer, yang merupakan robot web pertama. World Wide Web Wanderer mengindeks semua situs web yang ada di internet dengan menangkap URL mereka, tetapi tidak melacak konten sebenarnya dari situs web tersebut. Indeks yang terkait dengan Wanderer, yang merupakan jenis awal mesin pencari, disebut Wandex.
Beberapa proyek kecil lainnya tumbuh setelah Wanderer, yang mulai mendekati mesin pencari modern. Ini termasuk Worm World Wide Web, laba-laba Repository-Based Software Engineering (RBSE), dan JumpStation. Ketiganya menggunakan data yang dikumpulkan oleh robot web untuk mengembalikan informasi tersebut kepada pengguna. Namun, sebagian besar informasi baru saja dikembalikan tanpa filter, meskipun RBSE memang berusaha untuk menentukan peringkat nilai halaman.
Pada tahun 1993 sebuah perusahaan yang didirikan oleh beberapa mahasiswa Stanford, bernama Excite, merilis apa yang bisa dibilang sebagai mesin pencari pertama yang benar-benar menggabungkan analisis konten halaman. Penawaran awal ini dimaksudkan untuk mencari di dalam situs, namun tidak mencari di web secara keseluruhan.
Namun, pada tahun 1994, dunia mesin pencari mengalami terobosan besar. Sebuah perusahaan bernama WebCrawler meluncurkan mesin pencari yang tidak hanya menangkap judul dan header halaman di Internet, tetapi juga mengambil semua konten. WebCrawler sangat sukses — sangat sukses sehingga sebagian besar waktu bahkan tidak dapat digunakan karena semua sumber daya sistemnya sedang digunakan.
Beberapa saat kemudian tahun itu Lycos dirilis, termasuk banyak fitur yang sama seperti WebCrawler, dan membangunnya. Lycos memberi peringkat hasil berdasarkan relevansi, dan memungkinkan pengguna untuk mengubah sejumlah pengaturan untuk mendapatkan hasil yang lebih sesuai. Lycos juga sangat besar — dalam tahun itu memiliki lebih dari satu juta situs web yang diarsipkan, dan dalam dua tahun telah mencapai 60 juta.