Laba-laba adalah program perangkat lunak yang menempuh web (karenanya nama “laba-laba”), menemukan dan mengindeks situs web untuk mesin pencari.
Semua mesin pencari utama, seperti Google dan Yahoo!, Gunakan laba-laba untuk membangun dan memperbarui indeks mereka.
Program-program ini terus-menerus menelusuri web, bepergian dari satu hyperlink ke yang lain.
Misalnya, ketika laba-laba mengunjungi beranda situs web, mungkin ada 30 tautan di halaman.
Laba-laba akan mengikuti masing-masing tautan, menambahkan semua halaman yang ditemukannya ke indeks mesin pencari.
Tentu saja, halaman-halaman baru yang ditemukan laba-laba mungkin juga memiliki tautan, yang terus diikuti oleh laba-laba.
Beberapa tautan ini dapat menunjuk ke halaman dalam situs web yang sama (tautan internal), sementara yang lain dapat mengarah ke situs yang berbeda (tautan eksternal).
Tautan eksternal akan menyebabkan laba-laba melompat ke situs baru, mengindeks lebih banyak halaman.
Karena sifat tautan situs web yang terjalin, laba-laba sering kembali ke situs web yang telah diindeks.
Ini memungkinkan mesin pencari untuk melacak berapa banyak link halaman eksternal ke setiap halaman.
Biasanya, semakin banyak tautan yang dimiliki halaman, semakin tinggi peringkatnya dalam hasil mesin pencari.
Laba-laba tidak hanya menemukan halaman baru dan melacak tautan, mereka juga melacak perubahan ke setiap halaman, membantu indeks mesin pencari tetap up to date.
Laba-laba juga disebut robot dan perayap, yang mungkin lebih disukai bagi mereka yang tidak menyukai arachnid.
Kata “laba-laba” juga dapat digunakan sebagai kata kerja, seperti “mesin pencari itu akhirnya membumbui situs web saya minggu lalu.”
