Generador de robots.txt

¿Cómo utilizar el generador Robots.txt de ETTVI?

El generador Robots.txt de ETTVI permite a los usuarios generar un archivo Robots.txt predeterminado con instrucciones de rastreo "Todos permitidos" o "Todos no permitidos", así como crear un archivo Robots.txt personalizado con funcionalidades adicionales.

Generar un archivo Robots.txt estándar

Siga estos pasos para generar un archivo Robots.txt estándar con la configuración predeterminada:

PASO 1: Establecer metadirectivas para robots

Puede configurar directivas de permitir/no permitir para que "todos los robots de los motores de búsqueda" generen un archivo robots.txt estándar. Elija "Permitir" o "No permitir" para aplicar la configuración predeterminada:

PASO 2: ingrese la dirección del mapa del sitio

Ingrese el enlace al mapa del sitio de su sitio web o déjelo en blanco si no tiene ninguno.

Puede ingresar más de un mapa de sitio específico de una categoría de las páginas, publicaciones, categorías y etiquetas de su sitio web.

PASO 3: Obtenga el código Robots.txt

Justo cuando ingresa la información requerida, el Generador Robots.txt de ETTVI genera y muestra automáticamente el código Robots.txt.

Puede descargar o copiar el código para enviar el archivo Robots.txt al directorio raíz de su sitio web.

Generar archivo Robots.txt personalizado

Siga estos pasos para generar un archivo Robots.txt estándar con la configuración predeterminada:

Introduzca las URL:

PASO 2: seleccione el agente de usuario

Puede configurar directivas de meta robots para cualquiera de los siguientes agentes de usuario:

• Google
• imagen de Google
• Google Móvil
• Búsqueda de MSN
• yahoo
• YahooMM
• Blogs de Yahoo
• Baidu
• Búsqueda de imágenes de MSN

Puede seleccionar diferentes agentes de usuario para diferentes URL.

PASO 3: Permitir/No permitir robots de motores de búsqueda

Seleccione "Permitir o No permitir" para configurar las metadirectivas de los robots para las URL proporcionadas.

Puede configurar por separado la directiva "Permitir" o "No permitir" para cada URL.

¿Entiendes Robots.txt?

ElArchivo robots.txtes un archivo de texto que contiene información sobre cómo un rastreador debe rastrear un sitio web. Además, puedes especificar a qué áreas no quieres que los rastreadores accedan, por ejemplo, áreas con contenido duplicado o aquellas en construcción. Hay algunos bots que no siguen este estándar, incluidos los detectores de malware y los recolectores de correo electrónico. Como resultado, buscarán puntos débiles en su sistema de seguridad. Si no desea que se indexen ciertas áreas, existe una posibilidad razonable de que comiencen a revisar su sitio web desde esas áreas.

Normalmente hay dos archivos Robots.txt: uno proporciona el "Agente de usuario" y el otro incluye directivas que son "Permitir", "No permitir", "Retraso de rastreo", etc. Escribir manualmente un archivo de líneas de comando puede llevar bastante tiempo. mucho tiempo y el archivo puede contener varias líneas de comandos a la vez. Debes escribir "No permitir: el enlace que no deseas que visiten los bots" en la página siguiente. El mismo método se aplica al comando "permitir".

¿Por qué es importante Robots.txt?

La mayoría de los sitios web no requieren los archivos Robots.txt. Como resultado, Google suele ser capaz de encontrar todas las páginas importantes de su sitio web e indexarlas sin ninguna dificultad. Y no indexarán páginas que no sean importantes ni duplicados de páginas ya indexadas.

Sin embargo, existen tres razones principales para utilizar un archivo robots.txt.

No permita que se vean páginas no públicas. A veces, no desea que determinadas páginas se indexen en su sitio. Es posible, por ejemplo, tener versiones provisionales de determinadas páginas o una página de inicio de sesión. Es imperativo que estas páginas existan y los usuarios aleatorios no deben ser dirigidos a ellas. Por lo tanto, el archivo robots.txt debe usarse para impedir que los rastreadores y bots accedan a estas páginas.

Aproveche al máximo su presupuesto de rastreo. Puede haber un problema de presupuesto de rastreo si tiene dificultades para indexar sus páginas. Cuando utiliza robots.txt para bloquear páginas sin importancia, el robot de Google pasará más tiempo en las páginas web que son realmente importantes.

Los recursos no deben indexarse. Puede utilizar metadirectivas para evitar que una página se indexe con la misma eficacia que si se utilizara un archivo Robot.txt. Sin embargo, las metadirectivas no funcionan bien con recursos multimedia como archivos PDF e imágenes. En este caso, el archivo robots.txt sería útil.

Cuando los robots de los motores de búsqueda examinan archivos, primero buscan el archivo robots.txt y, si no lo encuentran, existe una gran posibilidad de que no se indexen todas las páginas de su sitio. Cuando agrega más páginas, puede modificar el archivo Robot.txt con algunas instrucciones agregando la página principal a la lista de no permitidos. Sin embargo, evite agregar la página principal a la lista de no permitidos al principio del archivo.

Hay un presupuesto para rastrear el sitio web de Google; este presupuesto está determinado por un límite de rastreo. Como regla general, los rastreadores pasarán una cierta cantidad de tiempo en un sitio web antes de pasar al siguiente, pero si Google descubre que rastrear su sitio molesta a sus usuarios, lo rastreará más lentamente. Debido al rastreo más lento de su sitio web por parte de Google, solo indexará unas pocas páginas de su sitio a la vez, por lo que su publicación más reciente tardará en indexarse ​​por completo. Es necesario que su sitio tenga un mapa del sitio y un archivo robots.txt para poder solucionar este problema. El proceso de rastreo se agilizará dirigiéndolos a los enlaces de su sitio que requieren atención especial para acelerar el proceso de rastreo.

Además de tener una tasa de rastreo para un sitio web, cada bot tiene su propia cotización de rastreo única. Por eso necesitas un archivo robot para tu sitio web de WordPress. Esto se debe al hecho de que consta de una gran cantidad de páginas que no son necesarias para la indexación. Además, si elige no incluir un archivo robots.txt, los rastreadores seguirán indexando su sitio web, pero a menos que sea un blog muy grande y contenga muchas páginas, no es necesario.

El propósito de las directivas en un archivo Robot.txt:

Al crear el archivo manual, es imperativo que sepa cómo se debe formatear el archivo. Además, después de aprender cómo funciona, podrás modificarlo.

Retraso en el tiempo de rastreo: al configurar esta directiva, los rastreadores no sobrecargarán el servidor, ya que demasiadas solicitudes harán que el servidor trabaje demasiado, lo que no dará como resultado una experiencia de usuario óptima. Los distintos robots de motores de búsqueda responden de forma diferente a la directiva Crawl-Delay. Por ejemplo, Bing, Google y Yandex responden de manera diferente.

Permitir: Al utilizar esta directiva, permitimos que se indexen las siguientes URL. Independientemente de la cantidad de URL que pueda agregar a su lista, si tiene un sitio web de comercio electrónico, es posible que tenga muchas URL para agregar. Si decide utilizar el archivo robots, sólo debe utilizarlo para las páginas que no desea que se indexen.

No permitir: Una de las funciones más importantes de un archivo Robots es evitar que los rastreadores puedan acceder a enlaces, directorios, etc. dentro del mismo. Sin embargo, otros bots pueden acceder a estos directorios, lo que significa que deben buscar malware porque no cumplen.

Diferencia entre un mapa del sitio y un archivo Robot.txt

Un mapa del sitio contiene información valiosa para los motores de búsqueda y es esencial para todos los sitios web. Los mapas de sitio informan a los robots cuándo se actualiza su sitio web y qué tipo de contenido ofrece. El propósito de la página es informar al motor de búsqueda de todas las páginas que contiene su sitio y que deben rastrearse, mientras que el propósito del archivo robots.txt es notificar al rastreador. A los rastreadores se les dice qué páginas rastrear y cuáles evitar usando Robot.txt. Para que su sitio web sea indexado, necesitará un mapa del sitio, mientras que no se requiere robot.txt.