Kode dan Cara Setting Robot.txt SEO Terbaru di Platform Blogger

Seseorang bertanya kepada saya mengenai settingan robot.txt yang digunakan pada blog ini. Lalu saya jawab bahwa settingan robot.txt Andisyam yang sekarang adalah:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.andisyam.web.id/sitemap.xml

Sebelumnya saya belum pernah melakukan penyettingan untuk robot.txt di platform Blogger. Namun setelah baca panduan robot.txt Webmaster Google dan robot.txt Google Adsense terbaru, saya pun kemudian berinisiatif untuk mengaktifkan robot txt pada menu Setelan > Preferensi penelusuran Blogger.

Settingan robot txt ini baru berjalan kurang lebih "2 minggu" (dari artikel ini dipublikasikan), dan belum ada perubahan trafik yang signifikan. Tapi hingga tahun 2019 ada efek positif yang terjadi pada "blog-blog" (platform blogger) yang saya urus, yaitu waktu index di Google menjadi lebih cepat ditambah dengan melakukan fetch as Google url di webmaster Google, daripada saya tidak menyetting Robot.txt ini.

Apabila kalian ingin mengaktifkan dan memasang robot.txt khusus "yang benar" (menurut saya pribadi) ini secara manual untuk platform Blogger sama seperti blog Andisyam ini, caranya sangatlah mudah:
  1. Masuk ke blogger.com
  2. Klik Setelan
  3. Pilih Preferensi penelusuran
  4. Lalu, Edit pada bagian robot.txt khusus
  5. Pilih Ya untuk Aktifkan konten robots.txt khusus? dan membuka sebuah kolom
  6. Copy paste kan kode yang sudah saya berikan di atas ke kolom costum robot.txt yang terbuka
  7. rubah https://www.andisyam.web.id dengan domain kalian
  8. Jika sudah, Simpan untuk perubahan

Begitulah cara pengaktifan robottxt untuk platform Blogger serta kode yang sama dengan blog ini.

Untuk pengaturan Tag tajuk robot khusus, saya tidak mengaktifkannya. Sedangkan untuk ads.txt kustom, baca:

A & Q

A: Kenapa setiap cek robot.txt untuk blog platform Blogger selalu halaman 404?
Q: Entahlah, namun yang saya pahami bahwa hal itu tidaklah mengganggu pengindeksan di SERP

Note! Apabila ke depan mengalami penurunan trafik dan kehilangan posisi di SERP dengan durasi "lama" (minimal 2 bulan) akibat mengikuti pemasangan robottxt blog Andisyam ini, saya sarankan untuk kembali pada pengaturan awal robot.txt.

Related Posts →


Open Disqus Close Disqus



This site uses cookies from Google to deliver its services, to personalise ads and to analyse traffic. Information about your use of this site is shared with Google. By using this site, you agree to its use of cookies. Blogger Cookies