CARA MENGATUR ROBOT.TXT di BLOGSPOT

Pengertian Robot.txt :

Yang dimaksud dengan Robots.txt adalah Sebuah file dengan sebuah fungsi yang di gunakan untuk membatasi akses robot mesin pencari (Search engine misal : Google,Bing,Yahoo) yang sedang menjelajahi atau membuka situs web yang anda miliki . Sebelum mereka mejelajahi halaman web, mereka memeriksa terlebih dahulu untuk melihat apakah sebuah file robots.txt ada ataukah tidak, dan di dalam robots.txt ada perintah (command) yang mencegah mereka mengakses untuk halaman tertentu.

Sebelumnya cara mengatur robot.txt pada blog sudah banyak para master blogger yang membahasnya dan semua itu cukup memuaskan dan jelas, tetapi disamping itu kita tidak tahu apakah kode robot.txt tersebut sudah valid ataupun belum karena kebanyakan para blogger hanya memberikan kode untuk di pasang di blog tanpa kita cek terlebih dahulu apakah sudah valid atau tidak dan langsung kita pasang di blog, sebenarnya ini pengalaman saya waktu membuat file robot.txt yang langsung saja tancap di blog ini dan alhasil artikel-artikel kebanyakkan tidak muncul di search engine terutama google. Bayangkan saja bagaimana persaan anda sudah cape2 menulis artikel yang bagus, keren atau sebagainya tapi hasilnya nihil alias tidak muncul di search engine, pasti bosankan membuat artikel selanjutnya? Oke disini saya akan memberikan tutorial dari hasil pengalaman saya untuk membuat dan mengecek robot.txt yang dipasang di blog pakah sudah valid  atau tidak, perhatikan caranya di bawah ini... 

1. Cara Setting Robot.txt (Blogger)

• Login kedalam Blogger
• Pada Dasbhoard Blogger, pilih Setelan ► Preferensi Penelusuran ► Robots.txt ► Edit ► Pilih Ya

•  Copy paste kode di bawah ini lalu masukkan ke dalam form robot.txt tersebut

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: 

Sitemap:http://hollosys.blogspot.com/feeds/posts/default?orderby=UPDATED

• Kemudian ganti url yang bewarna hijau dengan url blog anda
• Setelah itu, klik Simpan Perubahan.

2. Setting Tag Header Robot Khusus

• Setelan ► Preferensi Penelusuran ► Tag tajuk robot khusus ► Edit ► Pilih Ya
• Centang sesuai dengan gambar dibawah ini

•  Lalu, Simpan Perubahan

Settingan seperti di atas adalah settingan yang saya rekomendasikan, karena  bertujuan untuk menginformasikan mesin pencari untuk mengindex semua isinya tetapi tetap tidak membolehkan User-agent Open Directory Project untuk mengcrawl semua isi blog dan juga tidak membolehkan untuk mengindex arsip blog.

Demikian tutorial optimasi blog dari saya, semoga berguna bagi Anda. Bila kurang dimengeti silahkan komentar ya, Terima Kasih.