Cara setting robots.txt yang benar di Blog

bayu tutor.-Cara setting robots.txt yang benar di Blog.Pasti sebagian dari kalian bertanya-tanya apa itu Robots.txt.,Robots.txt yaitu sebuah perintah kepada mesin pencari (search engine) untuk menelusuri atau tidak menelusuri halaman/bagian pada blog kita.

Baca Juga --> Cek kualitas SEO di Blog kamu

Apakah semua Blogger memiliki Robots.txt ?
Ya,semua Blogger sudah memiliki Robots.txt yang diberikan secara default oleh Blogger.

Contoh Robots.txt yang diberikan default dari Blog.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://bayu-tutor.blogspot.com/sitemap.xml

Untuk meilhat apa kode Robots.txt kamu ketikkan http://alamatsituskamu.blogspot.com di browser kalian.

Arti dari kode-kode Robots.txt di atas:

1.User -agent:Mediapartners-Google
Robot Search Engine Google dapat merayapi atau menelusuri blog

2.Disallow:
Yang tidak diperbolehkan menelusuri blog kita tidak ada

3.User-agent:*
Semua robot Search engine/mesin pencari

4.Disallow:/search
Search engine tidak diperbolehkan merayapi atau menelusuri folder search/bagian blog tidak penting.seperti, seacrh/label dan juga search/search?updated

5.Allow:/
Mengijinkan Mesin pencari/Search Engine menelusuri halaman blog kita kecuali Disallow diatas.

6.Sitemap
Sitemap atau peta situs blog atau situs kita.

Kalau saya,tidak saya edit-edit Robots.txt saya , dan saya masih memakai Robots.txt default karena takut hehehe.

Baca juga --> Cek SEO di Blog kamu

Catatan:

Hati-hati terhadap peng-editan Robot.txt,karena apabila salah dalam peng-editan bisa diabaikan mesin pencari/Search Engine

Cukup sekian,semoga bermanfaat.Apabila ada yang kurang jelas beri komentarnya Insyaallah saya akan membantu masalah kalian.

Cara Setting Robots.txt yang benar di Blog