Cara Setting Robot.txt dengan Kode Terbaru di Blog Platform Blogger

Seseorang bertanya kepada saya mengenai robot.txt yang digunakan pada blog ini. Lalu saya jawab bahwa settingan robot.txt Andisyam yang sekarang adalah:
User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.andisyam.web.id/sitemap.xml

Sebelumnya saya belum pernah melakukan penyettingan untuk robot.txt di platform Blogger. Namun setelah baca panduan robot.txt Webmaster Google dan robot.txt Google Adsense terbaru, saya pun kemudian berinisiatif untuk mengaktifkan robot txt pada menu Setelan > Preferensi penelusuran Blogger.

Settingan robot txt ini baru berjalan kurang lebih "2 minggu" (dari artikel ini dipublikasikan), dan belum ada perubahan trafik yang signifikan.

Apabila kalian ingin mengaktifkan dan memasang robot.txt khusus secara manual untuk platform Blogger sama seperti blog Andisyam ini, caranya sangatlah mudah:
  1. Masuk ke blogger.com
  2. Klik Setelan
  3. Pilih Preferensi penelusuran
  4. Lalu, Edit pada bagian robot.txt khusus
  5. Pilih Ya untuk Aktifkan konten robots.txt khusus? dan membuka sebuah kolom
  6. Copy paste kan kode yang sudah saya berikan di atas ke kolom costum robot.txt yang terbuka
  7. rubah https://www.andisyam.web.id dengan domain kalian
  8. Jika sudah, Simpan untuk perubahan
Begitulah cara pengaktifan robottxt untuk platform Blogger serta kode yang sama dengan blog ini.

Untuk pengaturan Tag tajuk robot khusus, saya tidak mengaktifkannya. Sedangkan untuk ads.txt kustom, baca:

A & Q

A: Kenapa setiap cek robot.txt untuk blog platform Blogger selalu halaman 404?
Q: Entahlah, namun yang saya pahami bahwa hal itu tidaklah mengganggu pengindeksan di SERP

Note! Apabila ke depan mengalami penurunan trafik dan kehilangan posisi di SERP dengan durasi "lama" (minimal 2 bulan) akibat mengikuti pemasangan robottxt blog Andisyam ini, saya sarankan untuk kembali pada pengaturan awal robot.txt.

Post Terkait:

Open Comments Close Comments

This site uses cookies from Google to deliver its services, to personalise ads and to analyse traffic. Information about your use of this site is shared with Google. By using this site, you agree to its use of cookies. Learn more