Validador de robots.txt

¿Cómo utilizar el validador Robots.txt de ETTVI?

Siga estos sencillos pasos para probar el archivo robots.txt de un sitio web con la herramienta avanzada de ETTVI:

PASO 1: ingrese la URL

Escriba la URL de un sitio web de la siguiente manera:

Nota: No olvide agregar "robots.txt" después de la barra.

PASO 2: seleccione Usuario-Agente

Especifique el rastreador contra el cual le gustaría inspeccionar el archivo robots.txt.

Puede elegir cualquiera de los siguientes agentes de usuario:

• robot de google
• Noticias sobre robots de Google
• Adsense
• AnunciosBot
• BingBot
• MSNBot-Media
• Yahoo!
• Pato Pato a ganar
• Baidu
• yandex
• Facebook
• TwitterBot
• botificar

PASO 3 - Validar el archivo Robots.txt

Cuando hace clic en "Verificar", el validador gratuito de robots.txt de ETTVI se ejecuta para identificar e inspeccionar las metadirectivas de los robots del sitio web determinado. Resalta las URL que el bot seleccionado puede o no rastrear.

Cuando hace clic en "Verificar", el validador gratuito de robots.txt de ETTVI se ejecuta para identificar e inspeccionar las metadirectivas de los robots del sitio web determinado. Resalta las URL que el bot seleccionado puede o no rastrear.

Agente de usuario: * indica que todos los rastreadores de motores de búsqueda tienen permitido/no permitido rastrear el sitio web

Permitir: indica que una URL puede ser rastreada por los respectivos rastreadores del motor de búsqueda.

Disallow: indicaDisallow:es que una URL no puede ser rastreada por los respectivos rastreadores del motor de búsqueda.

¿Qué es el archivo Robots.txt?

El archivo Robots.txt permite o impide que los rastreadores accedan y rastreen las páginas web. Piense en el archivo Robots.txt como un manual de instrucciones para los rastreadores de los motores de búsqueda. Proporciona un conjunto de instrucciones para especificar qué partes del sitio web son accesibles y cuáles no.

Más claramente, el archivo robots.txt permite a los webmasters controlar los rastreadores: a qué acceder y cómo. Debe saber que un rastreador nunca llega directamente a la estructura del sitio, sino que accede al archivo robots.txt del sitio web respectivo para saber qué URL pueden rastrearse y cuáles no.

Usos del archivo Robots.txt

AArchivo robots.txtayuda a los webmasters a mantener las páginas web, los archivos multimedia y los archivos de recursos fuera del alcance de todos los rastreadores de los motores de búsqueda. En palabras simples, se utiliza para mantener URL o imágenes, vídeos, audios, scripts y archivos de estilo fuera de las SERP.

La mayoría de los SEO tienden a aprovechar el archivo Robots.txt como medio para bloquear la aparición de páginas web en los resultados del motor de búsqueda. Sin embargo, no debe usarse para este propósito ya que existen otras formas de hacerlo, como la aplicación de directivas de metarobots y el cifrado de contraseñas.

Tenga en cuenta que el archivo Robots.txt solo debe usarse para evitar que los rastreadores sobrecarguen un sitio web con solicitudes de rastreo. Además, si es necesario, el archivo Robots.txt se puede utilizar para ahorrar el presupuesto de rastreo bloqueando las páginas web que no son importantes o están en desarrollo.

Beneficios de utilizar el archivo Robots.txt

El archivo Robots.txt puede ser tanto un as en la manga como un peligro para el SEO de su sitio web. Excepto por la arriesgada posibilidad de que, involuntariamente, impida que los robots de los motores de búsqueda rastreen todo su sitio web, el archivo Robots.txt siempre resulta útil.

Usando un archivo Robots.txt, los webmasters pueden:

• Especificar la ubicación del mapa del sitio
• Prohibir el rastreo de contenido duplicado
• Evitar que determinadas URL y archivos aparezcan en SERP
• Establecer el retraso del rastreo
• Guarde el presupuesto de rastreo

Todas estas prácticas se consideran las mejores para el SEO del sitio web y solo Robots.txt puede ayudarle a aplicarlas.

Limitaciones en el uso del archivo Robots.txt

Todos los webmasters deben saber que, en algunos casos, Robots Exclusion Standard probablemente no impida el rastreo de páginas web. Existen ciertas limitaciones en el uso del archivo Robots.txt, como por ejemplo:

• No todos los rastreadores de motores de búsqueda siguen las directivas del archivo robots.txt.
• Cada rastreador tiene su propia forma de entender la sintaxis del archivo robots.txt.
• Existe la posibilidad de que el robot de Google pueda rastrear una URL no permitida.

Se pueden realizar ciertas prácticas de SEO para asegurarse de que las URL bloqueadas permanezcan ocultas a todos los rastreadores de los motores de búsqueda.

Creando el archivo Robots.txt

Eche un vistazo a estos formatos de muestra para saber cómo puede crear y modificar su archivo Robots.txt:

Agente de usuario: * Disallow: / indica que todos los rastreadores de motores de búsqueda tienen prohibido rastrear todas las páginas web.

Agente de usuario: * No permitir: indica que todos los rastreadores de motores de búsqueda pueden rastrear todo el sitio web.

Agente de usuario: Googlebot Disallow: / indica que solo el rastreador de Google no puede rastrear todas las páginas del sitio web.

Agente de usuario: * No permitir: /subcarpeta/ indica que ningún rastreador de motor de búsqueda puede acceder a ninguna página web de esta subcarpeta o categoría específica.

Puedes crear y modificar tu archivo Robots.txt de la misma manera. Simplemente tenga cuidado con la sintaxis y formatee Robots.txt de acuerdo con las reglas prescritas.

Sintaxis de robots.txt

La sintaxis de Robots.txt se refiere al lenguaje que utilizamos para formatear y estructurar los archivos robots.txt. Permítanos brindarle información sobre los términos básicos que componen la sintaxis de Robots.txt.

El agente de usuario es el rastreador del motor de búsqueda al que usted proporciona instrucciones de rastreo, incluidas qué URL deben rastrearse y cuáles no.

Disallow es una metadirectiva de robots que indica a los agentes de usuario que no rastreen la URL respectiva.

Permitir es una metadirectiva de robots que solo se aplica al robot de Google. Le indica al rastreador de Google que puede acceder, rastrear y luego indexar una página web o subcarpeta.

El retraso del rastreo determina el período de tiempo en segundos que un rastreador debe esperar antes de rastrear el contenido web. Para que conste, el rastreador de Google no sigue este comando. De todos modos, si es necesario, puede configurar la velocidad de rastreo a través de Google Search Console.

El mapa del sitio especifica la ubicación de los mapas del sitio XML del sitio web determinado. Sólo Google, Ask, Bing y Yahoo reconocen este comando.

Los caracteres especiales, incluidos * , / y $, facilitan a los rastreadores la comprensión de las directivas. Como su nombre lo dice, cada uno de estos caracteres tiene un significado especial:

* significa que todos los rastreadores tienen permitido/no permitido rastrear el sitio web respectivo. / significa que la directiva permitir/no permitir es para todas las páginas web

Datos breves sobre Robots.txt

• ➔ El archivo Robots.txt de un subdominio se crea por separado
• ➔ El nombre del archivo Robots.txt debe guardarse en minúsculas como “robots.txt” porque distingue entre mayúsculas y minúsculas.
• ➔ El archivo Robots.txt debe colocarse en el directorio de nivel superior del sitio web.
• ➔ No todos los rastreadores (agentes de usuario) admiten el archivo robots.txt
• ➔ El rastreador de Google puede encontrar las URL bloqueadas de los sitios web vinculados
• ➔ El archivo Robots.txt de cada sitio web es de acceso público, lo que significa que cualquiera puede acceder a él.

Consejo profesional:En caso de extrema necesidad, utilice otros métodos de bloqueo de URL, como cifrado de contraseña y metaetiquetas robots en lugar del archivo robots.txt para evitar el rastreo de determinadas páginas web.