√√Cara setting robot txt di blogspot Agar Seo Friendly

Setting Robot.txt
Cara setting robot.txt di blogspot – Jadi begini sobat dari saya, dalam pengaturan blogspot itu ada
istilah robot txt. lalu apa fungsi dari robot txt? seberapa penting pengaturan robot txt? Mari kita
bahas bersama sobat.

Apa Itu Robot.txt?
Robot.txt atau yang biasa dikenal sebagai protokol pengecualian robot atau
protokol Robot.txt adalah sebuah ketentuan para pengguna blog untuk mencegah web crawler
dan robot web lain, dari pengaksesan seluruh atau sebagian situs web yang tidak di izinkan untuk
di index.

Apa Fungsi Robot.txt?
Fungsi Robot.txt adalah berfungsi untuk mengontrol halaman-halaman tertentu agar tidak
diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Friendster, Facebook, dan
Twitter

Seberapa Penting Robot.txt?
Dengan mengganti aturan bawaan dasar pengaturan Robot.txt , maka hal ini membuat artikel
yang kita upload menjadi lebih SEO friendly. Karena Dengan mengganti Robot.txt bawaan
blogger, Kita bisa menentukan mana yang boleh di index oleh mesin pencari dan mana yang tidak
Sobat perbolehkan.

1. Robots.txt Default
Pakai saja Settingan Robot.txt default, karena inilah yang paling aman dan juga efektif. Untuk
settingan Robot.txt ini, pertama kali Sobat membuat blog, seketika itu Robot.txt sudah aktif.
Berikut ini adalah Robot.txt default dari blogger.

Keterangan:

User-agent: Mediapartners-Google {Penanda bahwa blog menggunakan AdSense}
Disallow: {Yang tidak dibolehkan tidak ada}
User-agent: * {Semua robot mesin pencari}
Disallow: / search {Tidak mengijinkan url setelah /search seperti ..../search/label dan ...
search/search?updated...}
Allow: / {Yang diijinkan untuk dirayapi. Tanda (/) adalah nama blog.}
Sitemap: https://LINK.blogspot.com/sitemap.xml {Sitemap/peta situs blog.}

Pada kode Disallow: /search, artinya pembatasan atau tidak diizinkan merayapi halaman seperti
https://LINK.com/search/label/SEO, karena link tersebut tidak menuju ke satu halaman satu
artikel penuh.

2. Custom Robot.txt
Menggunakan Robot.txt di atas sebenarnya sudah cukup, tetapi apabila Sobat tetap ingin
melakukan customasi pada Robot.txt, maka modikasi
Robot.txt di bawah bisa Sobat pakai.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://LINK.blogspot.com/sitemap.xml

Robots.txt Default

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Custom Robot.txt
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Disallow: /p/contact.html
Allow: /
Sitemap: https://LINK.blogspot.com/sitemap.xml

Custom robots.txt di atas memberikan sebuah perintah kepada mesin pencari untuk tidak
merayapi halaman About dan halaman Contact pada halaman statis. jika sobat ingin halaman
tertentu tidak dirayapi mesin pencari, maka sobat tinggal menambahkan seperti cara di atas.

3. Setting Tag Tajuk Robot Khusus
Untuk mengaktifkan tag tajuk robot khusus,
Arahkan ke Settings>> Shearch Preferences>>Tag Tajuk (posisi dibawah Setting Robot.txt)