Pemanenan web adalah proses di mana perangkat lunak khusus mengumpulkan data dari Internet dan menempatkannya ke dalam file untuk pengguna akhir. Ini melayani fungsi yang mirip dengan, tetapi lebih maju daripada, tugas yang dilakukan mesin pencari. Juga dikenal sebagai pengikisan Web, pemanenan Web memberi pengguna akses otomatis ke informasi di Internet yang tidak dapat diproses oleh mesin pencari karena dapat bekerja di sekitar kode HTML. Tiga jenis utama pemanenan Web adalah untuk konten Web, struktur, dan penggunaan.
Pemanenan konten web melibatkan ekstraksi informasi dengan menarik data dari kedua hasil halaman pencarian dan dari pencarian lebih dalam dari konten yang tersembunyi di dalam halaman Web. Informasi tambahan ini sering disamarkan dari mesin pencari karena dikaburkan oleh kode HTML. Proses memindai informasi yang mirip dengan cara mata manusia, membuang karakter yang tidak membentuk frasa bermakna untuk mengekstrak elemen yang berguna.
Daripada mencari konten, pemanenan struktur Web mengumpulkan data tentang cara informasi diatur di area tertentu di Internet. Data yang dikumpulkan memberikan umpan balik yang berharga dari mana perbaikan di bidang-bidang seperti organisasi informasi dan pengambilan dapat dilakukan. Ini adalah cara untuk menyempurnakan struktur Web.
Pemanenan penggunaan web melacak pola akses umum dan penggunaan yang disesuaikan oleh pengguna Web. Dengan menganalisis penggunaan Web, pemanenan dapat membantu menciptakan kejelasan tentang bagaimana pengguna berperilaku. Ini adalah cara lain untuk meningkatkan fungsi Web, tetapi pada tingkat pengguna akhir. Ini dapat membantu desainer untuk meningkatkan antarmuka pengguna situs Web mereka untuk efisiensi maksimum. Proses ini juga memberikan wawasan tentang jenis informasi yang dicari pengguna dan bagaimana mereka menemukannya, sehingga memberikan gambaran tentang bagaimana konten harus dikembangkan ke depan.
Dengan mengumpulkan data teks dan gambar dari file dan gambar HTML, pemanenan Web dapat melakukan perayapan Web yang lebih kompleks yang menggali lebih dalam ke setiap dokumen. Ini juga menganalisis tautan yang mengarah ke konten itu untuk menentukan apakah informasi tersebut memiliki kepentingan dan relevansi di Internet. Ini memberikan gambaran yang lebih lengkap tentang bagaimana informasi terkait dan memengaruhi seluruh Web.
Perusahaan menggunakan pemanenan Web untuk beragam tujuan. Ini bisa menjadi cara yang efektif untuk mengumpulkan data untuk dianalisis. Beberapa kumpulan data yang lebih umum dikumpulkan adalah informasi tentang pesaing, daftar harga produk yang berbeda, dan data keuangan. Data juga dapat dikumpulkan untuk menganalisis perilaku pelanggan.