Langsung ke konten utama

Setting Robot.txt Custome di Blogspot

Baca Juga

Setting Robots.txt Custome di Blogspot - Bagi Blogger istilah robots.txt mungkin sudah tidak asing lagi. Yang sering menjadi pertanyaan adalah apa sih perlunya setting robots.txt? Apa fungsinya? Apa pengaruhnya untuk SEO? dan masih banyak lagi pertanyaan lainnya.

Beberapa uraian berikut ini mungkin bisa memberikan jawaban berbagai pertanyaan tersebut.

Pengertian Robots.txt

Robots.txt merupakan sebuah file text yang mengandung beberapa baris kode sederhana. Ini biasanya disimpan di dalam server website atau blog yang menginstruksikan bagaimana sebuah web crawler mengindex dan melakukan crawl blog anda dalam hasil pencarian. Artinya anda bisa membatasi halaman apapun di blog anda sehingga halaman yang dibatasi tersebut tidak terindex di search engines seperti misalnya halaman label blog Anda, halaman demo blog anda atau halaman manapun yang menurut anda tidak penting untuk dimasukkan ke index.
Setiap blog yang di host di blogger sudah memiliki file robots.txt default yang umumnya memiliki kode seperti berikut:
User-agent: Mediapartners-GoogleDisallow:

User-agent: *

Disallow: /search
Allow: /

Sitemap: http://namablog.blogspot/feeds/posts/default?orderby=UPDATED
Penjelasannya :
Kode tersebut dibagi menjadi 3 bagian. 
User-agent: Mediapartners-Google
Kode tersebut adalah untuk robot Google Adsense yang membantu mereka untuk merayapi iklan dengan lebih baikdi blog anda. Meskipun di Blog Anda tidak terpasang Google Adsense, tetap bisa dipasang seperti adanya.
User-agent: *
Ini adalah untuk semua robots yang ditandai dengan lambang asterisk (*). dalam setting defaultnya link label blog dibatasi untuk diindex oleh search crawler yang berarti bahwa web crawlers tidak akan mengindex link halaman label karena adanya kode berikut.
Disallow: /search
Artinya setiap link yang memiliki keyword search sesudah nama domain akan diabaikan dari crawling. Contohnya adalah link dari label halaman yang dinamai named Tukang.
http://namablog.blogspot.com/search/label/Tukang
Jika Disallow: /search dibuang dari kode diatas, maka mesin crawler akan mengakses keseluruhan blog untuk melakukan index dan crawl semua konten dan halaman blog tersebut.
Nah, disini kode Allow: / mengacu pada Homepage yang artinya web crawler bisa melakukan crawl dan index homepage blog.

Memberikan kode Disallow Posting tertentu

Nah, jika kita ingin mengeluarkan posting tertentu dari pengindeksan, maka bisa menambahkan beberapa baris kode berikut.
Disallow: /yyyy/mm/post-url.html
Penjelasannya :
yyyy dan mm mengacu pada publikasi tahun dan bulan dari posting yang dibuat. Misalnya jika ingin mengeluarkan posting yang dipublikasi pada tahun 2014 di bulan November dengan permalink post-url, kita harus menuliskan format kodenya seperti berikut.
Disallow: /2014/11/post-url.html

Memberikan kode Disallow untuk Page (laman statis) Tertentu

Jika kita membutuhkan melakukan disallow sebuah Laman Statis tertentu metode yang digunakan hampir sama seperti di atas. Secara sederhana anda bisa mengcopy semua link url laman statis, lalu tinggal hapus subdomain/domain awalnya, sehingga penampakannya akan seperti di bawah ini kodenya:
Disallow: /p/page-url.html

Menambahkan Sitemap di Robot.txt

Kode sitemap dari Robot.txt di atas adalah sitemap dari blog kita. Dengan menambahkan link sitemap, kita bisa mengoptimalkan tingkat crawling blog kita. Maksudnya adalah, saat web crawler melakukan pemindaian file robots.txt maka mereka akan menemunkan sebuah jalur ke sitemap tersebut dimana terdapat semua link dari publikasi posting yang ada. Web crawler akan bisa dengan mudah menemukan posting kita. Dengan kata lain, sitemap membantu mempercepat akses crawling ke blog kita.


Sitemap: http://namablog.blogspot/feeds/posts/default?orderby=UPDATED
Sebagai catatan: sitemap default di atas hanya akan memberitahu web crawlers sekitar 25 posting terakhir. Jika anda menginginkan meningkatkan jumlah link di sitemap, anda bisa merubah kode sitemap default di atas dengan yang berikut ini. 

Jika menginginkan sampai dengan 500 posting terbaru kodenya seperti berikut :
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Jika Blog anda ternyata memiliki jumlah posting lebih dari 500 posting yang terublikasi, anda bisa menggunakan dua sitemapseperti berikut ini:
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000


Cara Menambahkan Custom Robots.Txt ke Blogspot

Berikutnya adalah menambahkan baris kode Ribit .txt tersebut ke Blogspot anda.
Setting Robot.txt di blogspot

Menuju ke opsi setelan berikut.
Settings >> Search Preferences ›› Crawlers and indexing ›› Custom robots.txt ›› Edit ›› Yes
kemudian Paste paste file robots.txt yang sudah anda buat tadi.
Klik Tombol Save Changes.

Cara mengecek File Robots.txt apakah sudah terpasang

Cukup mudah untuk memeriksa apakah file robot.txt yang baru anda pasang sudah benar-benar terpasang di blog anda cukup mengetikkan url berikut di address bar browser anda.
http://www.namablogcom/robots.txt
Seharusnya serangkaian kode Robot.txt yang sudah anda buat sebelumnya akan muncul di halaman browser anda, jika anda melakukan langkah setting robot.txt tersebut dengan benar.

Dengan melakukan setting penambahan robot.txt di blogspot yang benar, tentu lebih bisa memudahkan blog anda terindeks dengan cepat, benar alias tanpa kesalahan di Google Search engine. Karena Blog sudah melakukan filter terlebih dahulu terhadap web crawler.
Buka Komentar

Komentar

memang penting banget robot.txt ini, makasih infonya langsung praktek

Popular

Gratis Download Template Toko Online Blogspot Responsif Baru dan Keren

Menyongsong hari kemerdekaan RI di tahun ini, Tukang Toko Online juga ingin memberikan hadiah berupa bagi-bagi template toko online blogspot terbaru secara gratis.

Template yang akan dibagikan gratis ini merupakan versi Lite-nya dari Template Toko-01 yang barusan di luncurkan sebelumnya. Meskipun demikian sejumlah fitur utama tetap disertakan pada template ini, sehingga tidak mengurangi fungsi serta kebutuhan utama untuk toko online Anda.

Beberapa fitur wajib seperti, meta tag SEO, payment widget, opsi order, info contact, customer service dll. sudah ada dan siap digunakan pada template ini. Panduan step by stepsetting templatenya tetap akan diberikan meskipun template toko-02 ini dibagikan secara gratis.



Tapi tentu saja, meskipun Anda tidak harus membayar untuk mendapatkan template ini, tetap ada sejumlah syarat yang harus Anda penuhi untuk mendapatkan template ini, seperti halnya jika Anda pernah mengunduh beberapa template gratis di blog ini. Syaratnya cukup mudah dan tidak membera…

2 Template Toko Online Blogspot Gratis Rasa Premium

Untuk me-review Template Toko Online yang pernah didesain ulang Tukang Toko Online, posting kali ini sengaja untuk memberikan sedikit informasi untuk pengunjung setia Tukang Toko Online yang mungkin sempat ketinggalan info mengenai template toko online gratis namun dengan rasa premium.Nah berikut ini adalah 2 template toko online blogspot gratis yang juga memiliki pilihan premium jika anda berniat untuk mendapatkan fitur tambahan yang lebih lengkap. Itulah mengapa ke dua template tersebut be-rasa premium. Anda bisa mengunduhnya secara gratis dari link kedua artikel template tersebut. Jangan lupa meninggalkan komentar berupa saran saran atau apapun demi perbaikan layanan template dari Tukang Toko Online.Berikut ini adalah informasi mengenai ke dua Template Tersebut.


tukutoko THEME
Live DemoDownload Fitur  Super Responsive / mobile firendlyWhatssApp OrderSMS OrderCall OrderHelp Desk widgetHotline button to WhatsApp, SMS & Phone CallSlide MenuRelated Product Postetc.Baca juga :Ngeblog da…

Toko Online Blogspot Super Responsive dengan tukutoko THEME

Template blogspot toko online baru ini dirancang dengan tampilan yang sederhana dan terfokus pada produk yang dijual. Dan yang terpenting adalah sengaja dirancang untuk memfokuskan pada berbagai fitur di tampilan mobilenya. Hal ini untuk menjawab penetrasi akses internet melalui mobile device (smartphone) yang sudah mencapai 80% lebih di Indonesia.Ya, tujuannya adalah untuk menggaet pembeli yang mengakses internet via ponsel karena pasar yang besar tersebut. Otomatis beberapa fitur yang disematkan pada template ini sebisa mungkin fitur-fiturnya juga sudah harus mendukung untuk tujuan tersebut.Sebelum membahas lebih jauh tentang berbagai fitur yang tersemat pada tukutoko THEME ini, sebaiknya Anda memeriksa dulu live demo templatenya, karena difokuskan untuk tampilan yang mobile friendly, Anda bisa mengeceknya melalui ponsel favorit Anda.
Baca juga : 
Template Gratis Download untuk Bisnis Wisata dan Agen TravelNgeblog dan Jualan dengan satu Template Toko Online Gratis ini LIVE DEMODOWNLOAD
© Tukang Toko Online