Block bot melalui .htaccess

Bot merupakan layanan yang sering digunakan untuk melakukan index pada website Anda.

Contoh dari bot adalah GoogleBot, yang berfungsi mengindex dan mengambil isi website Anda untuk nantinya ditampilkan pada mesin pencarian Google.

Ada banyak bot yang aktif diinternet, baik dari bot yang baik sampai bot yang terlalu masif sehingga mengganggu website Anda karena resource Anda terpakai banyak malah untuk melayani bot-bot yang terlalu banyak menyasar website Anda.

Kebanyakan bot mesin pencari patuh terhadap aturan yang dituliskan pada robots.txt, namun banyak juga yang mengabaikannya sehingga walau sudah dituliskan pada robots.txt mereka tetap mengabaikannya.

Nah salah satu cara lainnya adalah memblokir sepenuhnya akses bot yang tidak diinginkan melalui .htaccess.

Berikut contoh memblokir via .htaccess:

SetEnvIfNoCase User-agent (yandex|baidu|foobar) not-allowed=1

Order Allow,Deny
Allow from ALL
Deny from env=not-allowed

Anda bisa tambahkan pada .htaccess web Anda baris .htaccess diatas.

Contoh diatas misalkan memblokir bot yandex, baidu, dan foobar.

Anda bisa tambahkan sesuai bot yang ingin Anda blokir.