Panduan Lengkap: Cara Pasang dan Mengatur Robot.txt dari Google
Selamat Datang di Wahyu Development, kali ini saya akan membagikan informasi cara mengatur atau mengelola Robot.txt pada sebuah website baik itu blogspot ataupun wordpress. Perlu anda ketahui sebelum membahas lebih lanjut, bahwa Robot.txt digunakan untuk mengatur akses sebuah website di penelusuran, baik menggunakan penelusuran google ataupun yang lainnya. Sehingga dengan mengatur Robot.txt anda dapat membatasi atau memberi akses pada mesin penelusuran agar menampilkan URL ataupun tidak.
Hal ini dilakukan karena website penelusuran seperti Google menggunakan robot untuk membaca (crawler) sebuah situs untuk ditampilkan di penelusuran.
Script untuk mengatur Robot.txt tersedia 2 dari google.
atau
Script untuk mengatur Robot.txt tersedia 2 dari google.
User-agent: Googlebot
Disallow: /nogooglebot/
Sitemap: http://www.example.com/sitemap.xmlatau
User-agent: *
Allow: /
Sitemap: http://www.example.com/sitemap.xmlDalam informasi diatas dapat dipahami ;
| User-agent | Adalah nama robot crawler yang digunakan |
|---|---|
| Disallow | Untuk menonaktifkan crawler pada URL |
| Allow | Untuk memberikan akses crawler pada URL |
| Sitemap | Feed (Direktori) dari sebuah website sebagai rujukan crawler |
Pada pemasang script robot.txt dapat anda custom sesuai yang anda inginkan, misal anda mengalami masalah seperti ini.
Pada gambar diatas yang berwarna kuning menunjukan ada URL yang di crawler penelusuran google console yang tidak sesuai dengan jenis URL, contoh URL yang tidak sesuai seperti ini.
https://topolelonocomputer/search/label/blogger/Dan URL yang sesuai seperti ini.
https://topolelonocomputer/cara-memasang-robot.htmlUntuk mengatasi ini silahkan anda nonaktifkan crawler pada URL yang anda buat sebagai label yang anda pasang di menu. Caranya menggunakan robot.txt ini.
- User-agent: * {Artinya dapat di crawler oleh semua bot}
- Disallow: https://topolelonocomputer/search/label/blogger/ {Jika terdapat banyak URL rujukan silahkan tambahkan Disallow lagi dibawahnya}
- Allow: / {Artinya crawler diizinkan untuk mengakses atau mengindex URL setelah nama domain anda}
- Sitemap: https://topolelonocomputer.blogspot.com/sitemap.xml {Masukan feed URL website anda}
Dengan melakukan tips diatas URL yang valid tapi bermasalah dapat teratasi.
Berikut daftar User-agent yang dapat digunakan;
Cara pemasangan robot.txt pada Blogger
Buka dasbor blogger anda --> klik menu pengaturan --> preferensi pencarian. Scroll kebawah lalu klik edit pada Robot.txt khusus.
Cara pemasangan robot.txt pada wordpress
Anda cukup menggunakan plugin WordPress Robots.txt. Lalu atur sesuai dengan keinginan anda.
Dan jika anda mengalami masalah URL yang tidak terindex silahkan anda cek terlebih dahulu URL tersebut ada atau tidak. Jika ada silahkan anda lakukan request pengindex-an, dengan cara mengcopy URL tersebut lalu paste disini.
Akan tetapi jika URL tersebut sudah tidak tersedia anda tidak perlu melakukan apa-apa hanya menunggu 90 hari untuk menghilangkan notifikasi error di google console, atau anda dapat langsung mengajukan penghapusan URL disini.
Maka akan muncul tab baru, silahkan masukan URL yang ingin anda hapus.
Jika hal diatas sudah dilakukan tetapi tetap tidak berhasil untuk mengatasi masalah URL error, ini disebabkan oleh template, dimana template dapat mempengaruhi crawler bot, dan cara untuk mengatasinya silahkan hapus meta noindex yang terdapat di template, biasanya code meta noindex hanya terdapat 2 seperti ini. SIlahkan hapus dari code <b:if>...</b:if>.
Itulah cara memasang dan mengatur Robot.txt serta cara mengatasi URL valid tapi bermasalah atau URL error / tidak terindex di penelusuran google, berikan komentar anda jika ada hal yang perlu di pertanyakan. Semoga bermanfaat . . .
Berikut daftar User-agent yang dapat digunakan;
Googlebot, Mediapartners-Google, Bingbot, Slurp, Duckduckbot, Baiduspider, Yandexbot, Mediapartners-Google, Adsbot-Google, Googlebot-Mobile.Cara pemasangan robot.txt pada Blogger
Buka dasbor blogger anda --> klik menu pengaturan --> preferensi pencarian. Scroll kebawah lalu klik edit pada Robot.txt khusus.
Cara pemasangan robot.txt pada wordpress
Anda cukup menggunakan plugin WordPress Robots.txt. Lalu atur sesuai dengan keinginan anda.
Dan jika anda mengalami masalah URL yang tidak terindex silahkan anda cek terlebih dahulu URL tersebut ada atau tidak. Jika ada silahkan anda lakukan request pengindex-an, dengan cara mengcopy URL tersebut lalu paste disini.
Akan tetapi jika URL tersebut sudah tidak tersedia anda tidak perlu melakukan apa-apa hanya menunggu 90 hari untuk menghilangkan notifikasi error di google console, atau anda dapat langsung mengajukan penghapusan URL disini.
Maka akan muncul tab baru, silahkan masukan URL yang ingin anda hapus.
Jika hal diatas sudah dilakukan tetapi tetap tidak berhasil untuk mengatasi masalah URL error, ini disebabkan oleh template, dimana template dapat mempengaruhi crawler bot, dan cara untuk mengatasinya silahkan hapus meta noindex yang terdapat di template, biasanya code meta noindex hanya terdapat 2 seperti ini. SIlahkan hapus dari code <b:if>...</b:if>.
Itulah cara memasang dan mengatur Robot.txt serta cara mengatasi URL valid tapi bermasalah atau URL error / tidak terindex di penelusuran google, berikan komentar anda jika ada hal yang perlu di pertanyakan. Semoga bermanfaat . . .
Situs download software lengkap dan mudah - Tutorial lengkap tentang website, sosial media, dan komputer - Sumber referensi tugas sekolah dan informasi lainnya
0 Response to "Panduan Lengkap: Cara Pasang dan Mengatur Robot.txt dari Google"
Post a Comment
√ Komentar anda adalah motivasi kami!
√ Untuk menyisipkan code gunakan
<i rel="code">Tuliskan Code</i>
√ Untuk menyisipkan gambar gunakan
<i rel="image">URL Gambar</i>
√ Untuk menyisipkan catatan gunakan
<b rel="quote">Tuliskan Catatan Anda</b>
√ Centang Notify me untuk mendapatkan notifikasi balasan komentar melalui Email