Pembuat Robots.txt

Bagaimana Cara Menggunakan Generator Robots.txt ETTVI?

Generator Robots.txt ETTVI memungkinkan pengguna membuat file Robots.txt default dengan instruksi perayapan “Semua Izinkan” atau “Larangan Semua” serta membuat file Robots.txt khusus dengan fungsi tambahan.

Hasilkan File Robots.txt Standar

Ikuti langkah-langkah berikut untuk membuat file Robots.txt standar dengan pengaturan default:

LANGKAH 1 - Tetapkan Arahan Meta Robot

Anda dapat mengatur perintah izinkan/larang untuk “semua robot mesin pencari” untuk menghasilkan file robots.txt standar. Pilih “Izinkan” atau “Larang” untuk menerapkan pengaturan default:

LANGKAH 2 - Masukkan Alamat Peta Situs

Masukkan tautan ke peta situs situs web Anda atau biarkan kosong jika Anda tidak punya.

Anda dapat memasukkan lebih dari satu peta situs khusus kategori pada halaman, postingan, kategori, dan tag situs web Anda.

LANGKAH 3 - Dapatkan Kode Robots.txt

Sama seperti Anda memasukkan informasi yang diperlukan, Generator Robots.txt ETTVI secara otomatis menghasilkan dan menampilkan kode Robots.txt.

Anda dapat mendownload atau menyalin kode untuk mengirimkan file Robots.txt ke direktori root situs web Anda.

Hasilkan File Robots.txt yang Disesuaikan

Ikuti langkah-langkah berikut untuk membuat file Robots.txt standar dengan pengaturan default:

Masukkan URL:

LANGKAH 2 - Pilih Agen Pengguna

Anda dapat mengatur arahan meta robot untuk salah satu agen pengguna berikut:

• Google
• Google gambar
• Google Seluler
• Pencarian MSN
• yahoo
• Yahoo MM
• Blog Yahoo
• Baidu
• MSN PicSearch

Anda dapat memilih agen pengguna yang berbeda untuk URL yang berbeda.

LANGKAH 3 - Izinkan/Larang Robot Mesin Pencari

Pilih “Izinkan atau Larang” untuk menyetel arahan meta robot untuk URL yang diberikan.

Anda dapat mengatur perintah “Izinkan” atau “Larang” secara terpisah untuk setiap URL.

Memahami Robots.txt?

ItuFile robots.txtadalah file teks yang berisi informasi tentang bagaimana crawler harus merayapi situs web. Selain itu, Anda dapat menentukan area mana yang tidak boleh diakses oleh crawler, misalnya area dengan konten duplikat atau area yang sedang dibangun. Ada beberapa bot yang tidak mengikuti standar ini, termasuk pendeteksi malware dan pemanen email. Akibatnya, mereka akan mencari titik lemah pada sistem keamanan Anda. Jika Anda tidak ingin area tertentu diindeks, ada kemungkinan besar mereka akan mulai meninjau situs web Anda dari area tersebut.

Biasanya ada dua file Robots.txt: satu menyediakan "Agen-pengguna" dan yang lainnya menyertakan arahan seperti 'Izinkan', 'Larang', 'Tunda Perayapan', dll. Menulis file baris perintah secara manual mungkin memerlukan waktu yang cukup lama. waktu yang lama, dan file tersebut dapat berisi beberapa baris perintah sekaligus. Anda harus menulis "Larang: tautan yang tidak ingin Anda kunjungi oleh bot" di halaman berikutnya. Metode yang sama berlaku untuk perintah "mengizinkan".

Mengapa Robots.txt Penting?

File robots.txt tidak diperlukan oleh sebagian besar situs web. Hasilnya, Google sering kali dapat menemukan semua halaman penting di situs web Anda, dan mengindeksnya, tanpa kesulitan apa pun. Dan mereka tidak akan mengindeks halaman yang tidak penting atau duplikat dari halaman yang sudah diindeks.

Namun, ada tiga alasan utama penggunaan file robots.txt.

Jangan izinkan halaman Non-Publik dilihat. Terkadang, Anda tidak ingin halaman tertentu diindeks di situs Anda. Anda mungkin, misalnya, memiliki versi pementasan halaman tertentu atau halaman login. Halaman-halaman ini harus ada dan pengguna lain tidak boleh diarahkan ke halaman tersebut. Jadi, robots.txt harus digunakan untuk memblokir crawler dan bot mengakses halaman ini.

Maksimalkan anggaran perayapan Anda. Mungkin ada masalah anggaran perayapan jika Anda mengalami kesulitan dalam mengindeks halaman Anda. Saat Anda menggunakan robots.txt untuk memblokir halaman yang tidak penting, Googlebot akan menghabiskan lebih banyak waktu di halaman web yang sebenarnya penting.

Sumber daya tidak boleh diindeks. Anda dapat menggunakan arahan meta untuk mencegah halaman diindeks sama efisiennya dengan menggunakan file Robot.txt. Namun, arahan meta tidak berfungsi dengan baik dengan sumber daya multimedia seperti PDF dan gambar. Dalam hal ini, robots.txt akan berguna.

Saat bot mesin pencari memeriksa file, mereka terlebih dahulu mencari file robots.txt, dan jika file ini tidak ditemukan, ada kemungkinan besar semua halaman situs Anda tidak akan diindeks. Saat Anda menambahkan lebih banyak halaman, Anda dapat memodifikasi file Robot.txt dengan beberapa instruksi dengan menambahkan halaman utama ke daftar larangan. Namun, hindari menambahkan halaman utama ke daftar larangan di awal file.

Ada anggaran untuk merayapi situs Google; anggaran ini ditentukan oleh batas perayapan. Biasanya, perayap akan menghabiskan waktu tertentu di situs web sebelum berpindah ke situs berikutnya, namun jika Google menemukan bahwa perayapan situs Anda mengganggu pengguna, perayapan akan merayapi situs Anda lebih lambat. Karena penjelajahan situs web Anda yang lebih lambat oleh Google, Google hanya akan mengindeks beberapa halaman situs Anda dalam satu waktu, sehingga postingan terbaru Anda akan memerlukan waktu untuk diindeks sepenuhnya. Situs Anda harus memiliki peta situs dan file robots.txt untuk memperbaiki masalah ini. Proses crawling akan dilakukan lebih cepat dengan mengarahkan mereka ke link situs Anda yang memerlukan perhatian khusus guna mempercepat proses crawling.

Selain memiliki tingkat perayapan untuk sebuah situs web, setiap bot memiliki kutipan perayapan uniknya sendiri. Itu sebabnya Anda memerlukan file robot untuk situs WordPress Anda. Hal ini disebabkan karena terdiri dari banyak halaman yang tidak diperlukan untuk pengindeksan. Selain itu, jika Anda memilih untuk tidak menyertakan file robots.txt, crawler akan tetap mengindeks situs web Anda, namun kecuali blog tersebut sangat besar dan berisi banyak halaman, hal ini tidak perlu dilakukan.

Tujuan Direktif dalam File Robot.txt:

Saat membuat file manual, Anda harus mengetahui bagaimana file harus diformat. Selain itu, setelah mempelajari cara kerjanya, Anda dapat memodifikasinya.

Penundaan waktu perayapan: Dengan menyetel arahan ini, perayap tidak akan membebani server secara berlebihan, karena terlalu banyak permintaan akan membuat server bekerja terlalu keras, sehingga tidak menghasilkan pengalaman pengguna yang optimal. Bot mesin pencari yang berbeda merespons secara berbeda terhadap arahan Penundaan Perayapan. Misalnya, Bing, Google, dan Yandex merespons secara berbeda.

Mengizinkan: Dengan menggunakan arahan ini, kami mengizinkan URL berikut untuk diindeks. Berapa pun jumlah URL yang dapat Anda tambahkan ke daftar, jika Anda menjalankan situs web E-niaga, Anda mungkin memiliki banyak URL untuk ditambahkan. Jika Anda memutuskan untuk menggunakan file robots, sebaiknya Anda hanya menggunakannya untuk halaman yang tidak ingin Anda indeks.

Disallowing: Salah satu fungsi terpenting file Robots adalah mencegah crawler mengakses link, direktori, dll. di dalamnya. Namun, bot lain dapat mengakses direktori ini, yang berarti mereka harus memeriksa malware karena tidak patuh.

Perbedaan Antara Peta Situs dan File Robot.txt

Peta situs berisi informasi berharga untuk mesin pencari dan penting untuk semua situs web. Peta Situs memberi tahu bot kapan situs web Anda diperbarui serta jenis konten apa yang ditawarkan situs web Anda. Tujuan laman ini adalah untuk memberi tahu mesin telusur tentang semua laman di situs Anda yang harus dirayapi, sedangkan tujuan file robots.txt adalah untuk memberi tahu perayap. Perayap diberi tahu halaman mana yang harus dirayapi dan halaman mana yang harus dihindari menggunakan Robot.txt. Agar situs web Anda dapat diindeks, Anda memerlukan peta situs, sedangkan robot.txt tidak diperlukan.