Langsung ke konten utama

Setting Robot.txt Custome di Blogspot

Setting Robots.txt Custome di Blogspot - Bagi Blogger istilah robots.txt mungkin sudah tidak asing lagi. Yang sering menjadi pertanyaan adalah apa sih perlunya setting robots.txt? Apa fungsinya? Apa pengaruhnya untuk SEO? dan masih banyak lagi pertanyaan lainnya.

Beberapa uraian berikut ini mungkin bisa memberikan jawaban berbagai pertanyaan tersebut.

Pengertian Robots.txt

Robots.txt merupakan sebuah file text yang mengandung beberapa baris kode sederhana. Ini biasanya disimpan di dalam server website atau blog yang menginstruksikan bagaimana sebuah web crawler mengindex dan melakukan crawl blog anda dalam hasil pencarian. Artinya anda bisa membatasi halaman apapun di blog anda sehingga halaman yang dibatasi tersebut tidak terindex di search engines seperti misalnya halaman label blog Anda, halaman demo blog anda atau halaman manapun yang menurut anda tidak penting untuk dimasukkan ke index.
Setiap blog yang di host di blogger sudah memiliki file robots.txt default yang umumnya memiliki kode seperti berikut:
User-agent: Mediapartners-GoogleDisallow:

User-agent: *

Disallow: /search
Allow: /

Sitemap: http://namablog.blogspot/feeds/posts/default?orderby=UPDATED
Penjelasannya :
Kode tersebut dibagi menjadi 3 bagian. 
User-agent: Mediapartners-Google
Kode tersebut adalah untuk robot Google Adsense yang membantu mereka untuk merayapi iklan dengan lebih baikdi blog anda. Meskipun di Blog Anda tidak terpasang Google Adsense, tetap bisa dipasang seperti adanya.
User-agent: *
Ini adalah untuk semua robots yang ditandai dengan lambang asterisk (*). dalam setting defaultnya link label blog dibatasi untuk diindex oleh search crawler yang berarti bahwa web crawlers tidak akan mengindex link halaman label karena adanya kode berikut.
Disallow: /search
Artinya setiap link yang memiliki keyword search sesudah nama domain akan diabaikan dari crawling. Contohnya adalah link dari label halaman yang dinamai named Tukang.
http://namablog.blogspot.com/search/label/Tukang
Jika Disallow: /search dibuang dari kode diatas, maka mesin crawler akan mengakses keseluruhan blog untuk melakukan index dan crawl semua konten dan halaman blog tersebut.
Nah, disini kode Allow: / mengacu pada Homepage yang artinya web crawler bisa melakukan crawl dan index homepage blog.

Memberikan kode Disallow Posting tertentu

Nah, jika kita ingin mengeluarkan posting tertentu dari pengindeksan, maka bisa menambahkan beberapa baris kode berikut.
Disallow: /yyyy/mm/post-url.html
Penjelasannya :
yyyy dan mm mengacu pada publikasi tahun dan bulan dari posting yang dibuat. Misalnya jika ingin mengeluarkan posting yang dipublikasi pada tahun 2014 di bulan November dengan permalink post-url, kita harus menuliskan format kodenya seperti berikut.
Disallow: /2014/11/post-url.html

Memberikan kode Disallow untuk Page (laman statis) Tertentu

Jika kita membutuhkan melakukan disallow sebuah Laman Statis tertentu metode yang digunakan hampir sama seperti di atas. Secara sederhana anda bisa mengcopy semua link url laman statis, lalu tinggal hapus subdomain/domain awalnya, sehingga penampakannya akan seperti di bawah ini kodenya:
Disallow: /p/page-url.html

Menambahkan Sitemap di Robot.txt

Kode sitemap dari Robot.txt di atas adalah sitemap dari blog kita. Dengan menambahkan link sitemap, kita bisa mengoptimalkan tingkat crawling blog kita. Maksudnya adalah, saat web crawler melakukan pemindaian file robots.txt maka mereka akan menemunkan sebuah jalur ke sitemap tersebut dimana terdapat semua link dari publikasi posting yang ada. Web crawler akan bisa dengan mudah menemukan posting kita. Dengan kata lain, sitemap membantu mempercepat akses crawling ke blog kita.


Sitemap: http://namablog.blogspot/feeds/posts/default?orderby=UPDATED
Sebagai catatan: sitemap default di atas hanya akan memberitahu web crawlers sekitar 25 posting terakhir. Jika anda menginginkan meningkatkan jumlah link di sitemap, anda bisa merubah kode sitemap default di atas dengan yang berikut ini. 

Jika menginginkan sampai dengan 500 posting terbaru kodenya seperti berikut :
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Jika Blog anda ternyata memiliki jumlah posting lebih dari 500 posting yang terublikasi, anda bisa menggunakan dua sitemapseperti berikut ini:
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000


Cara Menambahkan Custom Robots.Txt ke Blogspot

Berikutnya adalah menambahkan baris kode Ribit .txt tersebut ke Blogspot anda.
Setting Robot.txt di blogspot

Menuju ke opsi setelan berikut.
Settings >> Search Preferences ›› Crawlers and indexing ›› Custom robots.txt ›› Edit ›› Yes
kemudian Paste paste file robots.txt yang sudah anda buat tadi.
Klik Tombol Save Changes.

Cara mengecek File Robots.txt apakah sudah terpasang

Cukup mudah untuk memeriksa apakah file robot.txt yang baru anda pasang sudah benar-benar terpasang di blog anda cukup mengetikkan url berikut di address bar browser anda.
http://www.namablogcom/robots.txt
Seharusnya serangkaian kode Robot.txt yang sudah anda buat sebelumnya akan muncul di halaman browser anda, jika anda melakukan langkah setting robot.txt tersebut dengan benar.

Dengan melakukan setting penambahan robot.txt di blogspot yang benar, tentu lebih bisa memudahkan blog anda terindeks dengan cepat, benar alias tanpa kesalahan di Google Search engine. Karena Blog sudah melakukan filter terlebih dahulu terhadap web crawler.

Komentar

Posting Komentar

#/ Dilarang melakukan SPAM.
#/ Dilarang Komentar mengandung Link/URL di kolom komentar
#/ Dilarang Komentar SARA dan Makian
#/ Dilarang ngiklan
Melanggar ketentuan di atas, komentar langsung dihapus..!!!

Popular

Gratis Download Template Toko Online Blogspot Responsif Baru dan Keren

Menyongsong hari kemerdekaan RI di tahun ini, Tukang Toko Online juga ingin memberikan hadiah berupa bagi-bagi template toko online blogspot terbaru secara gratis.

Template yang akan dibagikan gratis ini merupakan versi Lite-nya dari Template Toko-01 yang barusan di luncurkan sebelumnya. Meskipun demikian sejumlah fitur utama tetap disertakan pada template ini, sehingga tidak mengurangi fungsi serta kebutuhan utama untuk toko online Anda.

Beberapa fitur wajib seperti, meta tag SEO, payment widget, opsi order, info contact, customer service dll. sudah ada dan siap digunakan pada template ini. Panduan step by stepsetting templatenya tetap akan diberikan meskipun template toko-02 ini dibagikan secara gratis.

Tapi tentu saja, meskipun Anda tidak harus membayar untuk mendapatkan template ini, tetap ada sejumlah syarat yang harus Anda penuhi untuk mendapatkan template ini, seperti halnya jika Anda pernah mengunduh beberapa template gratis di blog ini. Syaratnya cukup mudah dan tidak membera…

Memulai Toko Blogspot dengan Template Toko-01

Template toko blogspot yang diluncurkan kali ini lebih memilih memakai warna yang netral. Sedikit perpaduan warna hitam, merah dan warna putih yang lebih dominan. Beberapa fitur di template toko online ini mengacu pada kebutuhan utama dari sebuah toko online, contohnya seperti adanya pilihan cara order (shopping cart atau via sms), info bank pembayaran, info contact customer service dll.

Untuk tampilan di versi mobile lebih disederhanakan sehingga beban loadingnya diharapkan tidak menjadi masalah, meski dibuka dengan akses internet di sinyal yang terbatas.

Fitur selengkapnya bisa Anda periksa langsung melalui link Live Demo template di bawah ini.

Cek Template dengan fitur yang lainnya :

Green Green Template, Template serba hijauZen Pink Template, dengan warna merah mudaTemplate Buku Kita, toko buku online yang dipadukan dengan blogging

Template Toko-01 LIVE DEMO
MAIN FEATURESCheck List Full Responsive DesignGrid View HomepageHeader Contact Customer Service iconResponsive menuPro…

2 Template Toko Online Blogspot Gratis Rasa Premium

2 Template Toko Online Blogspot Gratis Rasa Premium - Untuk me-review Template Toko Online yang pernah didesain ulang Tukang Toko Online, posting kali ini sengaja untuk memberikan sedikit informasi untuk pengunjung setia Tukang Toko Online yang mungkin sempat ketinggalan info mengenai template toko online gratis namun dengan rasa premium.

Nah berikut ini adalah 2 template toko online blogspot gratis yang juga memiliki pilihan premium jika anda berniat untuk mendapatkan fitur tambahan yang lebih lengkap. Itulah mengapa ke dua template tersebut be-rasa premium :D.

Berikut ini adalah ke dua Template Tersebut.


Template Sederhana Simple Shop
Live DemoDownload

Fitur  Shopping CartEmail InvoiceResponsive ViewMini Cart IconRupiah CurrencyHotline text iconSearch BoxRelated Product PostFitur selengkapnya klik sub judul template ini
Galaxo Shop Responsive Template
Live DemoDownload Fitur : Responsive Background ColorBlack-WhiteSlide ShowFeatured ProductSocial ButtonShopping CartInvoice EmailCurrencyRu…
DISCLAIMER: Tukang Toko Online berhak menolak order jasa toko online yang bertentangan dengan hukum di wilayah RI. Order tidak bisa dibatalkan, hanya bisa dialihkan ke Paket lain. Tukang Toko Online tidak bertanggung jawab terhadap isi/konten Toko Online. | MOHON BACA TOS SEBELUM ORDER