Recent Posts

settia

Cara Mengatur Custom Robots.txt Dan Header Tags Terbaru Untuk Blogspot

by - Bambang Heda on - Oktober 14, 2020

Baca Juga


Pengertian Robot.txt

Apa yang dimaksud dengan Robot.txt ?

Robots.txt adalah sebuah ketentukan yang dibuat oleh mesin pencari, untuk mencegah web crawler dan robot web lain, baik dari perayapan sebagaian maupun secara keseluruhan dari sebuah web.

Robot ini berfungsi untuk melakukan pengawasan terhadap halaman-halaman web, agar dapat segera di index atau tidak sama sekali di index oleh mesin pencari seperti google, bing, yandex dll.

Apa yang dimaksud dengan Ter-Index ?

Arinya bahwa halaman web yang sobat buat akan terdaftar di halaman pencarian, contoh untuk google dari setiap halaman akan menampilkan 10 halaman web, dan masih terdapat jumlah halaman lain yang bisa dibuka oleh orang yang mencari sesuatu di dalamnya.

Semakin web sobat menempati halaman kecil misalkan terdapat di halaman ke 3 ke 2 atau bahkan halaman pertama (page one), maka kemungkinan besar web sobat akan dibanjiri pengunjung. Sehingga menjadi keuntungan yang luar biasa.

Cara mengatur Custom Robots.txt di Blogspot.

  • Silahkan masuk ke dashboard blog sobat
  • Pilih menu Setelan (Settings)
  • Pilih Preferensi Penelusuran (Search preferences)
  • Klik Edit di Custom robots.txt

  User-agent: Mediapartners-Google
  Disallow:
  User-agent: *
  Disallow: /search
  Allow: /
  Sitemap: https://www.buatkuingat.com/sitemap.xml
  • Warna merah silahkan isi dengan nama web sobat
  • Setingan di atas termasuk umum dan banyak digunakan
  • User-agent: Mediaparthners-Google artinya memperbolehkan robot yang juga merupakan partner google untuk perayapi web sobat
  • Dissallow: Tidak dijinkan
  • User-agent: * artinya selain robot google juga diperbolehkan untuk merayapi
  • Disallow: /search artinya tidak diperbolehkan untuk merayapi alamat pencarian
  • Allow: / Sitemap .... artinya diperbolehkan untuk dirayapi bagian file sitemap.xml web sobat.
Nah, jiga sobat menginginkan beberapa halaman tidak di index oleh google, bisa menambahkan script berikut :

D isallow: /p/kontak-kami.html

Jangan menggunakan beberapa script di bawah ini, bila tidak ingin web sobat tidak terindex.
  • Disallow: /* artinya semua halaman web tidak akan diijinkan untuk dirayapi
  • Disallow: /?m=1 artinya web sobat tidak akan dirayapi bila terdapat pengunjung dari seluler
  • Disallow: /?m=0 termasuk juga ini
  • Disallow: /*?m=1 juga ini
  • Disallow: /*?m=0 dan ini.
Bila terdapat script tersebut pada file Robots.txt silahkan segera dihapus saja, agar web sobat dapat normal kembali dan google dapat segera melakukan perayapan ulang.

Untuk mendapatkan hasil perayapan yang maksimal, sobat dapat menambahan script di bawah ini untuk disematkan di robots.txt.

User-agent: Mediapartners-Google
  Disallow:
  User-agent: Googlebot
  User-agent: Bingbot
  Disallow: /search
  Disallow: /p/kontak-kami.html
  Disallow: /p/tentang.html 
  Allow: /
  Sitemap: http://www.buatkuingat.com/sitemap.xml

Penggunaan Googlebot dan Bingbot dapat lebih memokuskan perayapan terhadap halaman web sobat, sehingga mendapatkan perayapan yang maksimal. Dengan script robots.txt di atas saya sudah rekomendasikan silahkan untuk digunakan.

Cara Mengatur Custom Header Tags Untuk Blogspot

  • Pada Custom Header Tags khusus bisa diaktifkan
  • Pada Header page : ceklis all
  • Pada Archive and search pages : ceklish nonindex dan nosnippet
  • Pada Default for Post and Page : ceklish all
  • Tujuan dari pengaturan ini adalah masih untuk melakukan usaha untuk mempercepat robot mesin pencari melakukan perayapan terhadap web sobat.

Demikian artikel tentang Cara Mengatur Custom Robots.txt dan Header Tags Terbaru Untuk Blogspot. Semoga bermanfaat.

Tags
Reactions