Periksa robots.txt Anda bekerja seperti yang diharapkan

Bismillah, pada artikel saya kali ini saya ingin memberikan sedikit masukan untuk anda para pengguna blogger atau blogspot, judul Periksa robots.txt Anda bekerja seperti yang diharapkan ini saya ambil dari google web master, saya akan menjelaskan salah satu sebab isi blog anda tidak bisa dirayap oleh mesin pencari seperti google, sebetulnya ini kembali lagi kepada anda,
karena setelah saya melakukan survey selama kurang lebih 2 bulan saya baru menemukan penyebabnya, yaitu script pada xml blog anda, saya tidak membicarakan untuk blog yang memang di nofollow atau noindex, disini saya berbicara tentang blog yang follow dan index, sebenarnya permasalahanya kecil, yaitu anda menghapus sebaris script dari xml anda, atau script itu tidak ada pada xml blog anda, ini script nya:

<b:include data='blog' name='all-head-content'/>

script itu terletak dibawah kode <head> dan diatas kode <b:skin><![CDATA[
tepatnya diatas kode ini

<b:if cond='data:blog.pageType == "index"'>

banyak orang yang menghapus kode itu termasuk saya, atau mungkin dari template nya sudah dihapus kode tersebut, dulu saya menghapus kode tersebut karena saya tidak ingin favicon blogger muncul pada address bar ataupun pada page info, itu adalah alasan yang bisa diterima, karena dulu saya mengikuti salah satu artikel dari blog orang bila ingin menghapus favicon blogger anda harus menghapus kode <b:include data='blog' name='all-head-content'/> terlebih dahulu kemudian anda bisa menambahkan icon pribadi anda, setelah saya menghapus kode itu memang ketika di page info icon blogger tidak nampak, tapi bila tidak dihapus ketika dipage info atau disela sela loading pada address bar akan nampak walaupun sekejap.

dan ke esokan harinya setelah saya menghapus kode tersebut ternyata navigasi Arsip blog saya tidak berfungsi, bila tidak percaya silahkan anda coba, bila arsip blog anda menggunakan gaya Hierarki, maka tombol navigasi tidak akan berfungsi dengan baik:

dulu saya sempat bingung kenapa ya kok tidak bisa berfungsi, padahal kemarin bisa, itu yang pertama, ahirnya saya mengmbalikan script itu lagi, waktu itu saya memasang link url untuk icon saya tepat dibawah kode <head> jadinya secara tidak langsung akan lebih dulu dibaca, dan icon blogger lebih ahir dibaca karena script tersebut masih dibawah script icon kita, dan pada ahirnya yang muncul di address bar adalah icon blogger, terus bagaimana? logikanya kita pasang link icon kita setelah kode itu anda bisa paste kode icon anda sebelum <b:skin><![CDATA[ pasti icon anda akan muncul terus, itu untuk yang pertama, dan yang kedua adalah blog kita tidak bisa dijangkau untuk pembuatan semacam daftar isi, sebagai contoh anda bisa membuka http://myciut.tk pada artikel pertama disana saya memberi script daftar isi otomatis ke blog ini yang menggunakan java script, atau anda bisa ke http://myciut.blogspot.com pada tab Browse itu menggunakan java script daftar isi otomatis yang cara nya bisa anda lihat disini nah setelah saja uji, kode tersebut saya hapus, script daftar isi saya itu tidak dapat bekerja atau kosong, mungkin itu sebagian masalah dari teman teman mengapa blog nya tidak bisa diberi script daftar isi otomatis, dan yang terakhir adalah yang sedang mencari visitor atau apalah itu, SEO atau apa saya kurang tahu, yang jelas menurut survey yang saya lakukan blog kita tidak bisa di rayap isinya oleh google seacrh engine, bisa mungkin tapi tidak maksimal, mengapa? ternyata setelah saya membuka webmaster google saya mengetahui dari sekian blog saya semua dapat diketahui robots.txt nya, tapi ada salah satu blog yang google tidka bisa menampilkan robots.txt nya pada webmaster, padahal robots.txt ini adalah apa ya, ini yang dituturkan google "Jika situs Anda berisi konten yang tidak ingin diakses oleh Google atau mesin telusur lainnya, gunakan berkas robots.txt untuk menentukan cara mesin telusur merayapi konten situs Anda." lihat gambar dibawah ini:

gambar diatas adalah data dari blog ini, bila kurang jelas silahkan lihat gambar full nya disini. Dan ini adalah gambar dari blog saya yang saya hapus script nya:

nampak jelas disitu kosong, bila kurang jelas lihat gambar full nya disini.
sudah tahu kan, sebenarnya ini masalah yang kecil tapi dampaknya besar dan menjadi fatal untuk pengguna blogger yang ingin meningkatkan SEO nya, bila kita ingin isi kotak kosong itu untuk pengguna blogger sudah ada tulisan diatas yang berbunyi "Periksa robots.txt Anda bekerja seperti yang diharapkan. (Perubahan apa saja yang Anda buat pada konten robots.txt di bawah ini tidak akan disimpan.)" untuk menuju halaman google webmasters itu anda masuk saja http://www.google.com/webmasters/ dan bila sudah punya akun silahkan klik Sign in to Web master Tool setelah anda masuk di home bila anda sudah menambahkan web url anda pada webmaster google tinggal klik saja alamatnya dan masuk menu Konfigurasi Situs > Akses perayap. Dan jika belum menambahkan silahkan add site terlebih dahulu. silahkan mencoba, sekian artikel dari saya kurang lebihnya minta maaf, itu hanya sedikit masukan saja buat saya, terimakasih, dan semoga bermanfaat.. amien.. :)

Tags : script error, blog tidak muncul pada seacrh engine, arsip blog tidak befungsi, robots.txt tidak tampil,