Validateur Robots.txt

Comment utiliser le validateur Robots.txt d'ETTVI ?

Suivez ces étapes simples pour tester le fichier robots.txt d'un site Web avec l'outil avancé d'ETTVI :

ÉTAPE 1 - Entrez l'URL

Écrivez l'URL d'un site Web comme suit :

Remarque : N'oubliez pas d'ajouter « robots.txt » après la barre oblique.

ÉTAPE 2 - Sélectionnez l'agent utilisateur

Spécifiez le robot par rapport auquel vous souhaitez inspecter le fichier robots.txt

Vous pouvez choisir l’un des agents utilisateurs suivants :

• Bot Google
• Actualités Google Bots
• Adsense
• Bot publicitaire
• BingBot
• MSNBot-Media
• Yahoo!
• CanardCanardAller
• Baidu
• Yandex
• Facebook
• TwitterBot
• Botifier

ÉTAPE 3 - Valider le fichier Robots.txt

Lorsque vous cliquez sur « Vérifier », le validateur gratuit Robots.txt d'ETTVI s'exécute pour identifier et inspecter les méta-directives robots du site Web donné. Il met en évidence les URL que le bot sélectionné peut ou non explorer.

Lorsque vous cliquez sur « Vérifier », le validateur gratuit Robots.txt d'ETTVI s'exécute pour identifier et inspecter les méta-directives robots du site Web donné. Il met en évidence les URL que le bot sélectionné peut ou non explorer.

Agent utilisateur : * indique que tous les robots des moteurs de recherche sont autorisés/interdits à explorer le site Web.

Autoriser : indique qu'une URL peut être explorée par le(s) robot(s) du moteur de recherche concerné.

Disallow : indique qu'une URL ne peut pas être explorée par le(s) robot(s) du moteur de recherche concerné.

Qu'est-ce que le fichier Robots.txt ?

Le fichier Robots.txt autorise ou interdit aux robots d'exploration d'accéder et d'explorer les pages Web. Considérez le fichier Robots.txt comme un manuel d’instructions pour les robots des moteurs de recherche. Il fournit un ensemble d'instructions permettant de préciser quelles parties du site Internet sont accessibles et lesquelles ne le sont pas.

Plus clairement, le fichier robots.txt permet aux webmasters de contrôler les robots d'exploration : à quoi accéder et comment. Vous devez savoir qu'un robot n'atteint jamais directement la structure du site, mais accède au fichier robots.txt du site Web concerné pour savoir quelles URL sont autorisées à être explorées et quelles URL sont interdites.

Utilisations du fichier Robots.txt

UNFichier Robots.txtaide les webmasters à garder les pages Web, les fichiers multimédias et les fichiers de ressources hors de portée de tous les robots des moteurs de recherche. En termes simples, il est utilisé pour conserver les URL ou les images, les vidéos, les audios, les scripts et les fichiers de style hors des SERP.

La majorité des référenceurs ont tendance à utiliser le fichier Robots.txt comme moyen d'empêcher les pages Web d'apparaître dans les résultats des moteurs de recherche. Cependant, il ne doit pas être utilisé à cette fin car il existe d'autres moyens de le faire, comme l'application de directives méta-robots et le cryptage des mots de passe.

Gardez à l’esprit que le fichier Robots.txt ne doit être utilisé que pour empêcher les robots d’exploration de surcharger un site Web avec des requêtes d’exploration. De plus, si nécessaire, le fichier Robots.txt peut être utilisé pour économiser le budget d'exploration en bloquant les pages Web sans importance ou en sous-développement.

Avantages de l'utilisation du fichier Robots.txt

Le fichier Robots.txt peut être à la fois un atout et un danger pour le référencement de votre site Web. À l’exception de la possibilité risquée que vous interdisiez involontairement aux robots des moteurs de recherche d’explorer l’intégralité de votre site Web, le fichier Robots.txt est toujours utile.

A l'aide d'un fichier Robots.txt, les webmasters peuvent :

• Spécifiez l'emplacement du plan du site
• Interdire l'exploration du contenu en double
• Empêcher certaines URL et fichiers d'apparaître dans les SERP
• Définir le délai d'exploration
• Économisez le budget de crawl

Toutes ces pratiques sont considérées comme les meilleures pour le référencement de sites Web et seul Robots.txt peut vous aider à les appliquer.

Limites d'utilisation du fichier Robots.txt

Tous les webmasters doivent savoir que dans certains cas, Robots Exclusion Standard ne parvient probablement pas à empêcher l'exploration des pages Web. Il existe certaines limitations concernant l'utilisation du fichier Robots.txt, telles que :

• Tous les robots des moteurs de recherche ne suivent pas les directives robots.txt
• Chaque robot a sa propre façon de comprendre la syntaxe du robots.txt
• Il est possible que Googlebot explore une URL non autorisée

Certaines pratiques de référencement peuvent être mises en œuvre afin de s'assurer que les URL bloquées restent cachées à tous les robots des moteurs de recherche.

Création du fichier Robots.txt

Jetez un œil à ces exemples de formats pour savoir comment créer et modifier votre fichier Robots.txt :

Agent utilisateur : * Interdire : / indique qu'il est interdit à chaque robot d'exploration des moteurs de recherche d'explorer toutes les pages Web.

Agent utilisateur : * Interdire : indique que chaque robot d'exploration des moteurs de recherche est autorisé à explorer l'intégralité du site Web.

Agent utilisateur : Googlebot Disallow : / indique que seul le robot d'exploration de Google n'est pas autorisé à explorer toutes les pages du site Web.

Agent utilisateur : * Interdire : /sous-dossier/ indique qu'aucun robot d'exploration des moteurs de recherche ne peut accéder à une page Web de ce sous-dossier ou de cette catégorie spécifique.

Vous pouvez créer et modifier votre fichier Robots.txt de la même manière. Soyez simplement attentif à la syntaxe et formatez le Robots.txt selon les règles prescrites.

Syntaxe du fichier Robots.txt

La syntaxe Robots.txt fait référence au langage que nous utilisons pour formater et structurer les fichiers robots.txt. Laissez-nous vous fournir des informations sur les termes de base qui composent la syntaxe Robots.txt.

L'agent utilisateur est le robot d'exploration du moteur de recherche auquel vous fournissez des instructions d'exploration, notamment quelles URL doivent être explorées et lesquelles ne doivent pas l'être.

Disallow est une méta-directive des robots qui demande aux agents utilisateurs de ne pas explorer l'URL respective.

Allow est une méta-directive robots qui s’applique uniquement à Googlebot. Il indique au robot d'exploration Google qu'il peut accéder, explorer, puis indexer une page Web ou un sous-dossier.

Le délai d'exploration détermine la période en secondes pendant laquelle un robot d'exploration doit attendre avant d'explorer le contenu Web. Pour mémoire, le robot d'exploration Google ne suit pas cette commande. Quoi qu'il en soit, si nécessaire, vous pouvez définir le taux d'exploration via Google Search Console.

Le plan du site spécifie l'emplacement du ou des plans de site XML du site Web donné. Seuls Google, Ask, Bing et Yahoo reconnaissent cette commande.

Les caractères spéciaux, notamment * , / et $, permettent aux robots d'exploration de comprendre plus facilement les directives. Comme son nom l’indique, chacun de ces caractères a une signification particulière :

* signifie que tous les robots d'exploration sont autorisés/interdits à explorer le site Web concerné. / signifie que la directive autoriser/disallow s'applique à toutes les pages Web

Robots.txt Faits en bref

• ➔ Le fichier Robots.txt d'un sous-domaine est créé séparément
• ➔ Le nom du fichier Robots.txt doit être enregistré en minuscules sous le nom « robots.txt » car il est sensible à la casse.
• ➔ Le fichier Robots.txt doit être placé dans le répertoire de niveau supérieur du site Internet
• ➔ Tous les robots (user-agents) ne prennent pas en charge le fichier robots.txt
• ➔ Le robot d'exploration de Google peut trouver les URL bloquées sur les sites Web liés
• ➔ Le fichier Robots.txt de chaque site Web est accessible publiquement, ce qui signifie que tout le monde peut y accéder

Astuce PRO :En cas de besoin urgent, utilisez d'autres méthodes de blocage d'URL telles que le cryptage de mot de passe et les balises méta robots plutôt que le fichier robots.txt pour empêcher l'exploration de certaines pages Web.