Apa itu robots.txt? Penjelasan menyeluruh tentang makna, efek SEO, dan metode pengaturan
Dengan menggunakan robots.txt, Anda dapat mengontrol perayapan halaman yang tidak penting dan secara efisien merayapi halaman yang ingin Anda indeks.
Apa itu robots.txt?
robots.txt adalah file teks yang ditempatkan di direktori root situs Anda yang memungkinkan Anda menolak perayapan untuk setiap konten.
Anda dapat mengontrol frekuensi perayapan untuk setiap halaman dengan menulis sintaksis untuk melarang crawler di file robots.txt dan menempatkannya di direktori root domain.
Dengan kata lain, Anda dapat membuat crawler mesin pencari fokus pada konten penting situs Anda.
Efek SEO dari robots.txt
Dengan robots.txt, Anda dapat mengontrol konten yang tidak perlu dirayapi dan memandu crawler secara efisien hanya ke halaman yang ingin dirayapi.
Hal ini meningkatkan frekuensi perayapan konten yang ingin Anda evaluasi di situs Anda, yang berdampak mempercepat evaluasi SEO Anda.
Atur situs Anda untuk memprioritaskan konten yang penting dan mengindeksnya secara efisien.
Perbedaan antara tag robots.txt dan noindex
Noindex adalah meta tag yang mencegah suatu situs atau halaman terindeks oleh mesin pencari seperti Google.
Dengan menuliskan tag noindex pada bagian halaman <head>. Anda dapat mengaturnya agar tidak ditampilkan pada layar pencarian.
Perbedaan dari tag noindex adalah sebagai berikut.
noindex: dirayapi tetapi tidak diindeks
robots.txt: Blokir perayapan itu sendiri
Kunjungan crawler dikontrol oleh robots.txt, namun crawler akan mengunjungi halaman yang telah disetel ke noindex.
Cara menggunakan tag robots.txt dan noindex
Perbedaan antara tag robots.txt dan noindex adalah apakah akan di-crawl atau tidak.
Oleh karena itu gunakanlah kedua cara tersebut dengan baik dari sudut pandang berikut ini.
Jika Anda ingin mengontrol kunjungan crawler ke halaman tertentu → robots.txt
Jika Anda ingin menolak pengindeksan halaman tertentu → tag noindex
Meskipun Anda menyetel tag noindex, Anda tidak dapat mengontrol patroli perayap, sehingga mungkin dirayapi jika tidak diperlukan.
Gunakan robots.txt bila Anda ingin mengontrol laman yang tidak ingin dirayapi oleh perayap dan membuatnya dirayapi secara efisien.
Namun, robots.txt adalah file yang mengontrol patroli crawler dan tidak dapat diblokir agar tidak dilihat oleh pengguna, sehingga konten pribadi yang tidak ingin dilihat pengguna harus dihapus menggunakan tag noindex di mesin pencari.
Cara menulis robots.txt
Perlu diketahui bahwa tipe dasar robots.txt dan notasi default Wordpress berbeda.
Cara dasar menulis robots.txt adalah sebagai berikut.
Agen pengguna: *
Melarang:
Peta Situs: http://www.example.com/sitemap.xml
Saat mengkonfigurasi di WordPress, notasi defaultnya adalah sebagai berikut.
Agen pengguna: *
Larang: /wp/wp-admin/
Izinkan: /wp/wp-admin/admin-ajax.php
Peta Situs: http://www.example.com/sitemap.xml
WordPress hadir dengan file robots.txt secara default.
Setelah mengontrol perayapan dengan Disallow, hanya halaman yang diizinkan dengan Izinkan yang akan dirayapi.
Bagaimana cara memeriksa robots.txt
Meskipun Anda menginstal robots.txt, jika ada kesalahan dalam deskripsi, Anda tidak akan dapat mengontrol crawler.
Oleh karena itu, mari kita ketahui cara memeriksa apakah robots.txt ditulis dengan benar.
Untuk memeriksanya, cukup tempelkan teks yang dibuat menggunakan alat bernama " robots.txt tester " di Google Search Console, masukkan URL yang ingin Anda uji, dan klik "Uji".
Setelah mengirimkan tes, jika bagian yang ditulis di Disallow berubah menjadi merah dan menjadi "diblokir", Anda dapat menilai bahwa itu ditulis dengan benar.
Jika Anda membuat deskripsi yang salah dan tidak dapat mengontrol crawler sesuai keinginan, Anda mungkin menolak untuk meng-crawl halaman penting.
Cara mengatur robots.txt
Setelah Anda memverifikasi bahwa itu ditulis dengan benar melalui pengujian, unggah file robots.txt ke situs Anda menggunakan perangkat lunak FTP.
Tempatkan file robots.txt di direktori root domain Anda.
Harap dicatat bahwa jika Anda tidak mengunggah ke domain root, Anda tidak akan dapat mengontrol pengontrol meskipun deskripsinya benar.
Catatan tentang robots.txt
Terakhir, periksa tiga poin yang perlu diperhatikan tentang robots.txt dan atur robots.txt dengan benar.
Pengguna dapat melihat meskipun robots.txt ditentukan
Seperti yang dijelaskan dalam "Menggunakan tag robots.txt dan noindex", pengguna tetap dapat melihatnya meskipun robots.txt ditentukan.
Gunakan tag noindex untuk konten yang tidak ingin dilihat pengguna.
Namun, meskipun Anda memasang tag noindex pada laman yang telah ditolak perayapannya di robots.txt, perayap tidak akan merayapi laman tersebut dan instruksi "jangan diindeks" tidak akan dikirimkan.
Oleh karena itu, pertama-tama hapus spesifikasi robots.txt agar crawler dapat melakukan crawling, setel tag noindex, lalu setel robots.txt untuk menolak crawling.
Anda harus mengikuti langkah ini untuk memblokir pengguna agar tidak melihat.
Ada beberapa Agen-Pengguna yang tidak dapat dikontrol dengan robots.txt.
Beberapa crawler mesin pencari mengabaikan deskripsi Disallow di robots.txt, sehingga beberapa crawler tidak dapat dikontrol dengan robots.txt.
Dalam hal ini Anda harus mencoba metode lain seperti .htaccess.
Diperlukan waktu 1-2 minggu agar konten robots.txt dapat terlihat.
Diperlukan waktu 1-2 minggu agar konten robots.txt dapat terlihat.
Meskipun Anda menulis dan mengunggahnya, itu tidak akan langsung terlihat; Anda harus menunggu hingga Google menghapus cache-nya.
Posting Komentar
Posting Komentar