Cara Setting Robots.txt Untuk Blog SEO Friendly

Robots.txt adalah sebuah perintah atau bagian dalam sebuah situs yang tidak Anda izinkan untuk di akses atau di crawl oleh mesin penelusuran google. Robots.txt merupakan fiture yang sangat berguna bagi sebuah website khususnya blog, mengapa demikian ? karena dapat mengoptimalkan mesin - mesin penelusuran google agar tidak mengcrawl seluruh isi dari blog sepert abot us, disclaimer, contact dan masih banyak sekali sesuai dengan settingan yang dipilih.

Tak jarang ketika seseorang sudah membuat settingan pada robots.txt jumlah traffic blog mereka bisa naik walaupun tidak terlalu banyak. Itu menandakan bahwa settingan robots.txt nya sudah sangat tepat untuk kondisi blognya. Jika kita mencari di google tentang seputar cara menyetting robots.txt maka kita akan menemukan banyak sekali settingan - settingan yang bagus, akan tetapi settingan tersebut tidak selamanya cocok dengan blog kita, karena settingan masing - masing blog itu berbeda.

Lalu bagaimanakah dan seperti apa settingan robots.txt yang baik sekaligus SEO dan sudah banyak dipakai oleh kebanyakan blogger ? artikel ini sangat cocok untuk kalian simak, karena saya akan memberikan beberapa settingan robots.txt yang baik untuk blog. Settingan robots.txt dibawah ini merupakan settingan yang sangat benar dan sangat cocok bagi blog - blog kalian, akan tetapi kalian harus ingat jangan sampai salah memasukan settingan karena bisa saja artikel - artikel pada blog kalian tidak akan di crawl dan terindex dengan baik dan itu sangat fatal.

Berikut adalah cara setting robots.txt untuk blogger :

1. Masuk ke dashboard blog kalian

2. Langsung masuk ke "Setelan" kemudian "Prefrensi Penelusuran"

3. Selanjutnya klik edit 

4. Setelah itu kalian perhatikan gambar dibawah ini :

Keterangan : 

• Nomor 1 kalian centang "ya"
• Nomor 2 kalian pastekan kode script, piliha salah 1 code script dibawah ini
• Jika sudah Kemudian klik "simpan perubahan"

Pilih salah satu code dibawah ini 

1. Ini merupakan settingan standar untuk blog.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.informasiajib.info/sitemap.xml        

2. Settingan dibawah ini akan tidak memberikan izin kepada google untuk mengcrawl seluruh halaman pada blog 

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://www.informasiajib.info/sitemap.xml

3. Settingan dibawah ini bermaksud agar google tidak mengcrawl halaman seperti about us,disclaimer dan kontak.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/
Allow: /
Sitemap: http://www.informasiajib.info/sitemap.xml

4. Settingan robots.txt dibawah ini untuk mencegah dupilkat konten atau konten ganda karena blog diakses oleh pengguna smartphone.

User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://www.informasiajib.info/sitemap.xml

 Keterangan : pada yang berwarna merah kalian ganti dengan nama blog kalian

Tweet