Senin, 11 Februari 2013
Definisi dan Cara Membuat Robots.txt
Awalnya saya juga bingung
apa guna file .txt yg satu ini
simple tapi ngaruh banget ( kata anak muda sekarang ) :p
Robots.txt protocol atau Robot Exclusion Standard,, juga dikenal sebagai Robots Exclusion Protocol,, adalah sebuah Sistem Protokol Standar yang digunakan untuk membatasi Web Spider atau membolehkan crawler dan segala jenis web robot untuk mengakses bagian-bagian dari sebuah website atau blog. Robots ini digunakan oleh Search Engine untuk mengkategorikan dan mengumpulkan data dari sebuah website atau blog. Jika ingin lebih spesifik,, kamu bisa menggunakan robots.txt dengan menggunakan tool di dalam Google Webmaster account kamu. Caranya login ke account Google Webmaster tools,, klik domain yang kamu akan kelola, klik Tools dan klik Generate Robots.txt.
Di langkah satu pastikan kamu Allow All Robots,, kemudian pilih Action. Yang perlu dicatat adalah bahwa Allow itu mengijinkankan Search Engine
apa guna file .txt yg satu ini
simple tapi ngaruh banget ( kata anak muda sekarang ) :p
Definisi robots.txt
Kesimple-an nya :Robots.txt protocol atau Robot Exclusion Standard,, juga dikenal sebagai Robots Exclusion Protocol,, adalah sebuah Sistem Protokol Standar yang digunakan untuk membatasi Web Spider atau membolehkan crawler dan segala jenis web robot untuk mengakses bagian-bagian dari sebuah website atau blog. Robots ini digunakan oleh Search Engine untuk mengkategorikan dan mengumpulkan data dari sebuah website atau blog. Jika ingin lebih spesifik,, kamu bisa menggunakan robots.txt dengan menggunakan tool di dalam Google Webmaster account kamu. Caranya login ke account Google Webmaster tools,, klik domain yang kamu akan kelola, klik Tools dan klik Generate Robots.txt.
Di langkah satu pastikan kamu Allow All Robots,, kemudian pilih Action. Yang perlu dicatat adalah bahwa Allow itu mengijinkankan Search Engine
