Setting Robot.txt Custome di Blogspot

11/10/2014

Setting Robots.txt Custome di Blogspot - Bagi Blogger istilah robots.txt mungkin sudah tidak asing lagi. Yang sering menjadi pertanyaan adalah apa sih perlunya setting robots.txt? Apa fungsinya? Apa pengaruhnya untuk SEO? dan masih banyak lagi pertanyaan lainnya.

Beberapa uraian berikut ini mungkin bisa memberikan jawaban berbagai pertanyaan tersebut.

Pengertian Robots.txt

Robots.txt merupakan sebuah file text yang mengandung beberapa baris kode sederhana. Ini biasanya disimpan di dalam server website atau blog yang menginstruksikan bagaimana sebuah web crawler mengindex dan melakukan crawl blog anda dalam hasil pencarian. Artinya anda bisa membatasi halaman apapun di blog anda sehingga halaman yang dibatasi tersebut tidak terindex di search engines seperti misalnya halaman label blog Anda, halaman demo blog anda atau halaman manapun yang menurut anda tidak penting untuk dimasukkan ke index.
Setiap blog yang di host di blogger sudah memiliki file robots.txt default yang umumnya memiliki kode seperti berikut:
User-agent: Mediapartners-GoogleDisallow:

User-agent: *

Disallow: /search
Allow: /

Sitemap: http://namablog.blogspot/feeds/posts/default?orderby=UPDATED
Penjelasannya :
Kode tersebut dibagi menjadi 3 bagian. 
User-agent: Mediapartners-Google
Kode tersebut adalah untuk robot Google Adsense yang membantu mereka untuk merayapi iklan dengan lebih baikdi blog anda. Meskipun di Blog Anda tidak terpasang Google Adsense, tetap bisa dipasang seperti adanya.
User-agent: *
Ini adalah untuk semua robots yang ditandai dengan lambang asterisk (*). dalam setting defaultnya link label blog dibatasi untuk diindex oleh search crawler yang berarti bahwa web crawlers tidak akan mengindex link halaman label karena adanya kode berikut.
Disallow: /search
Artinya setiap link yang memiliki keyword search sesudah nama domain akan diabaikan dari crawling. Contohnya adalah link dari label halaman yang dinamai named Tukang.
http://namablog.blogspot.com/search/label/Tukang
Jika Disallow: /search dibuang dari kode diatas, maka mesin crawler akan mengakses keseluruhan blog untuk melakukan index dan crawl semua konten dan halaman blog tersebut.
Nah, disini kode Allow: / mengacu pada Homepage yang artinya web crawler bisa melakukan crawl dan index homepage blog.

Memberikan kode Disallow Posting tertentu

Nah, jika kita ingin mengeluarkan posting tertentu dari pengindeksan, maka bisa menambahkan beberapa baris kode berikut.
Disallow: /yyyy/mm/post-url.html
Penjelasannya :
yyyy dan mm mengacu pada publikasi tahun dan bulan dari posting yang dibuat. Misalnya jika ingin mengeluarkan posting yang dipublikasi pada tahun 2014 di bulan November dengan permalink post-url, kita harus menuliskan format kodenya seperti berikut.
Disallow: /2014/11/post-url.html

Memberikan kode Disallow untuk Page (laman statis) Tertentu

Jika kita membutuhkan melakukan disallow sebuah Laman Statis tertentu metode yang digunakan hampir sama seperti di atas. Secara sederhana anda bisa mengcopy semua link url laman statis, lalu tinggal hapus subdomain/domain awalnya, sehingga penampakannya akan seperti di bawah ini kodenya:
Disallow: /p/page-url.html

Menambahkan Sitemap di Robot.txt

Kode sitemap dari Robot.txt di atas adalah sitemap dari blog kita. Dengan menambahkan link sitemap, kita bisa mengoptimalkan tingkat crawling blog kita. Maksudnya adalah, saat web crawler melakukan pemindaian file robots.txt maka mereka akan menemunkan sebuah jalur ke sitemap tersebut dimana terdapat semua link dari publikasi posting yang ada. Web crawler akan bisa dengan mudah menemukan posting kita. Dengan kata lain, sitemap membantu mempercepat akses crawling ke blog kita.


Sitemap: http://namablog.blogspot/feeds/posts/default?orderby=UPDATED
Sebagai catatan: sitemap default di atas hanya akan memberitahu web crawlers sekitar 25 posting terakhir. Jika anda menginginkan meningkatkan jumlah link di sitemap, anda bisa merubah kode sitemap default di atas dengan yang berikut ini. 

Jika menginginkan sampai dengan 500 posting terbaru kodenya seperti berikut :
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Jika Blog anda ternyata memiliki jumlah posting lebih dari 500 posting yang terublikasi, anda bisa menggunakan dua sitemapseperti berikut ini:
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000


Cara Menambahkan Custom Robots.Txt ke Blogspot

Berikutnya adalah menambahkan baris kode Ribit .txt tersebut ke Blogspot anda.
Setting Robot.txt di blogspot

Menuju ke opsi setelan berikut.
Settings >> Search Preferences ›› Crawlers and indexing ›› Custom robots.txt ›› Edit ›› Yes
kemudian Paste paste file robots.txt yang sudah anda buat tadi.
Klik Tombol Save Changes.

Cara mengecek File Robots.txt apakah sudah terpasang

Cukup mudah untuk memeriksa apakah file robot.txt yang baru anda pasang sudah benar-benar terpasang di blog anda cukup mengetikkan url berikut di address bar browser anda.
http://www.namablogcom/robots.txt
Seharusnya serangkaian kode Robot.txt yang sudah anda buat sebelumnya akan muncul di halaman browser anda, jika anda melakukan langkah setting robot.txt tersebut dengan benar.

Dengan melakukan setting penambahan robot.txt di blogspot yang benar, tentu lebih bisa memudahkan blog anda terindeks dengan cepat, benar alias tanpa kesalahan di Google Search engine. Karena Blog sudah melakukan filter terlebih dahulu terhadap web crawler.

All posts here about online store, tips, tricks, SEO, Store Service, store builder with Blogspot, Wordpress or Opencart.
Contact me if You need help or more question about service. Enjoy reading.....

Artikel Terkait

Previous
Next Post »

1 komentar:

Write komentar
10 November 2014 18.35 delete

memang penting banget robot.txt ini, makasih infonya langsung praktek

Reply
avatar

#/ Dilarang melakukan SPAM.
#/ Dilarang Komentar mengandung Link/URL di kolom komentar
#/ Dilarang Komentar SARA dan Makian
#/ Dilarang ngiklan
Melanggar ketentuan di atas, komentar langsung dihapus..!!!
Emoticon