Robot.txt SEO Friendly Untuk Platform Blogger

Robot.txt adalah sebuah kata yang berisi informasi penting bagi para robot mesin pencari yang menjelaskan bagaimana tindakan sebuah blog/website dalam mempublikasikan tulisan atau halaman tertentu dalam tindakan penyimpanan di internet sebagai arsip mesin telusur.

Tentunya hal ini sangat berpengaruh dalam mempublikasikan blog kalian dalam penyimpanan arsip di mesin telusur atau yang lebih sering di sebut dengan index pada platform blogger kalian bisa mengatur bagaimana caranya agar sebuah robot perayap di beri izin atau tidaknya dalam halaman atau keseluruhan blog untuk disimpan sebagai arsip mesin telusur.

Sedikit arti dalam setiap kata yang ada robot.txt :

"User-Agent" adalah Sebuah robot perayap yang di gunakan para pengembang dunia internet dalam mencari dan menelusuri sebuah halaman untuk di jadikan arsip di internet.

"Disallow: /search" melarang bot perayap untuk merayapi url dengan awalan /search contoh : ngegoblogcom.web.id/search

"Allow: / " mengijinkan bot perayap untuk merayapi semua halaman kecuali kata yang ada pada Disallow yaitu /search

"Disallow: " Mengijinkan semua bot perayap untuk menelusuri semua isi blog/website tanpa ada perkecualian apapun.

"sitemap.xml" adalah sebuah map atau peta khusus yang di buat semua platform baik itu blogger, wordpress dan lain-lain untuk merekap semua isi kontent yang ada pada blog/website sebagai acuan bot perayap.

Jadi apabila ada salah kata atau penulisan dalam robot.txt tentunya sangat berakibat fatal bagi blog kalian jadi saya anjurkan untuk memeriksa kembali dalam penulisan kata maupun nama user-agent para bot peryapanya.

Dalam stategi Seo saya terhadap robot.txt adalah sebagai berikut ini, Jika berminat memakai silahkan copy setiap kata di bawah ini dan pastikan tidak terjadi kesalahan dalam kata-kata tersebut :

User-agent: Googlebot
Disallow: 

User-agent: googlebot-image
Disallow: 

User-agent: googlebot-mobile
Disallow: 

User-agent: MSNBot
Disallow: 

User-agent: Slurp
Disallow: 

User-agent: Teoma
Disallow: 

User-agent: Gigabot
Disallow: 

User-agent: Robozilla
Disallow: 

User-agent: Nutch
Disallow: 

User-agent: ia_archiver
Disallow: 

User-agent: naverbot
Disallow: 

User-agent: yeti
Disallow: 

User-agent: yahoo-mmcrawler
Disallow: 

User-agent: psbot
Disallow: 

User-agent: yahoo-blogs/v3.9
Disallow: 

User-agent: *
Disallow: 

Sitemap: https://www.ngegoblogcom.web.id/sitemap.xml 

Ganti link dalam tulisan di atas dengan nama blog sobat, perlu di ketahui untuk kalian bahwasannya robot.txt ini hanya mendukung untuk platform blogger dan belum pernah di coba pada platform wordpress atau lainnya jadi jika platform kalian bukan blogger jangan sekali-kali untuk mencobanya karena mungkin bisa berakibat fatal untuk blog/web anda.

Sekian dulu dari saya, terima kasih telah berkunjung

Share this post