Validator Robots.txt

Bagaimana Cara Menggunakan Validator Robots.txt ETTVI?

Ikuti langkah-langkah sederhana ini untuk menguji file robots.txt situs web dengan alat canggih ETTVI:

LANGKAH 1 - Masukkan URL

Tulis URL situs web sebagai berikut:

Catatan: Jangan lupa menambahkan “robots.txt” setelah garis miring.

LANGKAH 2 - Pilih Agen-Pengguna

Tentukan crawler yang ingin Anda gunakan untuk memeriksa file robots.txt

Anda dapat memilih salah satu agen pengguna berikut:

• Google Bot
• Berita Bot Google
• AdSense
• Bot Iklan
• BingBot
• MSNBot-Media
• Yahoo!
• BebekBebekPergi
• Baidu
• Yandex
• Facebook
• TwitterBot
• Botifikasi

LANGKAH 3 - Validasi File Robots.txt

Ketika Anda mengklik “Periksa”, Validator Robots.txt Gratis ETTVI berjalan untuk mengidentifikasi dan memeriksa arahan meta robot dari situs web yang diberikan. Ini menyoroti URL yang dapat atau tidak dapat dirayapi oleh bot yang dipilih.

Ketika Anda mengklik “Periksa”, Validator Robots.txt Gratis ETTVI berjalan untuk mengidentifikasi dan memeriksa arahan meta robot dari situs web yang diberikan. Ini menyoroti URL yang dapat atau tidak dapat dirayapi oleh bot yang dipilih.

Agen-pengguna: * menunjukkan bahwa semua perayap mesin pencari diizinkan/tidak diizinkan untuk merayapi situs web

Izinkan: menunjukkan bahwa suatu URL dapat dirayapi oleh perayap mesin telusur terkait

Disallow: indicatDisallow:es bahwa URL tidak dapat dirayapi oleh crawler mesin pencari terkait

Apa itu File Robots.txt?

File robots.txt mengizinkan atau melarang perayap mengakses dan merayapi halaman web. Bayangkan file Robots.txt sebagai instruksi manual untuk crawler mesin pencari. Ini memberikan serangkaian instruksi untuk menentukan bagian mana dari situs web yang dapat diakses dan mana yang tidak.

Lebih jelasnya, file robots.txt memungkinkan webmaster mengontrol crawler - apa yang harus diakses dan bagaimana caranya. Anda harus tahu bahwa crawler tidak pernah langsung mendarat di struktur situs, melainkan mengakses file robots.txt dari situs web tersebut untuk mengetahui URL mana yang boleh dirayapi dan URL mana yang tidak diizinkan.

Penggunaan File Robots.txt

AFile robots.txtmembantu webmaster untuk menjaga halaman web, file media, dan file sumber daya dari jangkauan semua crawler mesin pencari. Dengan kata sederhana, ini digunakan untuk menjaga URL atau gambar, video, audio, skrip, dan file gaya dari SERP.

Mayoritas SEO cenderung memanfaatkan file Robots.txt sebagai sarana untuk memblokir halaman web agar tidak muncul di hasil mesin pencari. Namun, ini tidak boleh digunakan untuk tujuan ini karena ada cara lain untuk melakukannya seperti penerapan arahan meta robot dan enkripsi kata sandi.

Perlu diingat bahwa file Robots.txt hanya boleh digunakan untuk mencegah perayap membebani situs web secara berlebihan dengan permintaan perayapan. Selain itu, jika diperlukan maka file Robots.txt dapat digunakan untuk menghemat anggaran perayapan dengan memblokir halaman web yang tidak penting atau kurang berkembang.

Manfaat Menggunakan File Robots.txt

File robots.txt dapat menjadi andalan sekaligus bahaya bagi SEO situs web Anda. Kecuali kemungkinan berisiko bahwa Anda secara tidak sengaja melarang bot mesin pencari merayapi seluruh situs web Anda, file Robots.txt selalu berguna.

Dengan menggunakan file Robots.txt, webmaster dapat:

• Tentukan lokasi peta situs
• Larang perayapan konten duplikat
• Cegah URL dan file tertentu muncul di SERP
• Atur penundaan perayapan
• Hemat anggaran perayapan

Semua praktik ini dianggap terbaik untuk SEO situs web dan hanya Robots.txt yang dapat membantu Anda menerapkannya

Batasan Penggunaan File Robots.txt

Semua webmaster harus tahu bahwa dalam beberapa kasus, Robots Exclusion Standard mungkin gagal mencegah perayapan halaman web. Ada batasan tertentu dalam penggunaan File Robots.txt seperti:

• Tidak semua perayap mesin telusur mengikuti arahan robots.txt
• Setiap crawler memiliki caranya sendiri dalam memahami sintaksis robots.txt
• Ada kemungkinan Googlebot dapat meng-crawl URL yang tidak diizinkan

Praktik SEO tertentu dapat dilakukan untuk memastikan bahwa URL yang diblokir tetap tersembunyi dari semua crawler mesin pencari.

Membuat File Robots.txt

Lihat contoh format berikut untuk mengetahui cara membuat dan memodifikasi file Robots.txt:

Agen-pengguna: * Larang: / menunjukkan bahwa setiap perayap mesin pencari dilarang merayapi semua halaman web

Agen-pengguna: * Larang: menunjukkan bahwa setiap perayap mesin pencari diperbolehkan merayapi seluruh situs web

Agen-pengguna: Googlebot Disallow: / menunjukkan bahwa hanya perayap Google yang tidak diizinkan merayapi semua laman di situs web

Agen-pengguna: * Larang: /subfolder/ menunjukkan bahwa tidak ada perayap mesin pencari yang dapat mengakses halaman web mana pun dari subfolder atau kategori tertentu ini

Anda dapat membuat dan memodifikasi file Robots.txt dengan cara yang sama. Berhati-hatilah dengan sintaksisnya dan format Robots.txt sesuai dengan aturan yang ditentukan.

Sintaks Robots.txt

Sintaks robots.txt mengacu pada bahasa yang kami gunakan untuk memformat dan menyusun file robots.txt. Izinkan kami memberi Anda informasi tentang istilah dasar yang membentuk Sintaks Robots.txt.

Agen-pengguna adalah perayap mesin telusur yang kepadanya Anda memberikan petunjuk perayapan termasuk URL mana yang harus dirayapi dan mana yang tidak.

Disallow adalah arahan meta robot yang menginstruksikan agen pengguna untuk tidak meng-crawl URL terkait

Izinkan adalah arahan meta robot yang hanya berlaku untuk Googlebot. Ini menginstruksikan perayap Google agar dapat mengakses, merayapi, dan kemudian mengindeks laman web atau subfolder.

Penundaan perayapan menentukan jangka waktu dalam hitungan detik yang harus ditunggu oleh perayap sebelum merayapi konten web. Sebagai catatan, crawler Google tidak mengikuti perintah ini. Bagaimanapun, jika diperlukan maka Anda dapat mengatur kecepatan perayapan melalui Google Search Console.

Peta Situs menentukan lokasi peta situs XML situs web tertentu. Hanya Google, Ask, Bing, dan Yahoo yang mengakui perintah ini.

Karakter Khusus termasuk *, /, dan $ memudahkan crawler memahami arahan. Sesuai dengan namanya, masing-masing karakter ini memiliki arti khusus:

* artinya semua crawler diperbolehkan/tidak diperbolehkan meng-crawl website yang bersangkutan. / berarti perintah izinkan/larang ditujukan untuk semua halaman web

Fakta Singkat Robots.txt

• ➔ File Robots.txt dari subdomain dibuat secara terpisah
• ➔ Nama file Robots.txt harus disimpan dalam huruf kecil sebagai “ robots.txt “ karena peka huruf besar-kecil.
• ➔ File Robots.txt harus ditempatkan di direktori tingkat atas situs web
• ➔ Tidak semua crawler (agen-pengguna) mendukung file robots.txt
• ➔ Perayap Google dapat menemukan URL yang diblokir dari situs web tertaut
• ➔ File Robots.txt di setiap situs web dapat diakses secara publik yang berarti siapa pun dapat mengaksesnya

Kiat PRO:Jika sangat diperlukan, gunakan metode pemblokiran URL lain seperti enkripsi kata sandi dan tag meta robot daripada file robots.txt untuk mencegah perayapan halaman web tertentu.