Robots.txt-Validator

Wie verwende ich den Robots.txt-Validator von ETTVI?

Befolgen Sie diese einfachen Schritte, um die robots.txt-Datei einer Website mit dem erweiterten Tool von ETTVI zu testen:

SCHRITT 1 – Geben Sie die URL ein

Schreiben Sie die URL einer Website wie folgt:

Hinweis: Vergessen Sie nicht, nach dem Schrägstrich „robots.txt“ hinzuzufügen.

SCHRITT 2 – Wählen Sie User-Agent

Geben Sie den Crawler an, anhand dessen Sie die robots.txt-Datei überprüfen möchten

Sie können einen der folgenden Benutzeragenten auswählen:

• Google Bot
• Google Bot-Neuigkeiten
• Adsense
• AdsBot
• BingBot
• MSNBot-Medien
• Yahoo!
• DuckDuckGo
• Baidu
• Yandex
• Facebook
• TwitterBot
• Botify

SCHRITT 3 – Validieren Sie die Robots.txt-Datei

Wenn Sie auf „Überprüfen“ klicken, wird der kostenlose Robots.txt-Validator von ETTVI ausgeführt, um die Robots-Meta-Anweisungen der jeweiligen Website zu identifizieren und zu überprüfen. Es hebt die URLs hervor, die der ausgewählte Bot crawlen kann oder nicht.

Wenn Sie auf „Überprüfen“ klicken, wird der kostenlose Robots.txt-Validator von ETTVI ausgeführt, um die Robots-Meta-Anweisungen der jeweiligen Website zu identifizieren und zu überprüfen. Es hebt die URLs hervor, die der ausgewählte Bot crawlen kann oder nicht.

User-Agent: * gibt an, dass alle Suchmaschinen-Crawler die Website crawlen dürfen bzw. nicht dürfen

Zulassen: Gibt an, dass eine URL von den jeweiligen Suchmaschinen-Crawlern gecrawlt werden kann.

Disallow: gibt an, dass eine URL nicht von den jeweiligen Suchmaschinen-Crawlern gecrawlt werden kann.

Was ist die Robots.txt-Datei?

Die Datei „Robots.txt“ ermöglicht oder verbietet den Crawlern den Zugriff auf die Webseiten und deren Crawling. Betrachten Sie die Datei „Robots.txt“ als eine Bedienungsanleitung für die Crawler von Suchmaschinen. Es enthält eine Reihe von Anweisungen, um anzugeben, welche Teile der Website zugänglich sind und welche nicht.

Genauer gesagt ermöglicht die robots.txt-Datei den Webmastern, die Crawler zu steuern – was und wie darauf zugegriffen wird. Sie müssen wissen, dass ein Crawler niemals direkt auf der Site-Struktur landet, sondern auf die robots.txt-Datei der jeweiligen Website zugreift, um zu erfahren, welche URLs gecrawlt werden dürfen und welche nicht.

Verwendungsmöglichkeiten der Robots.txt-Datei

ARobots.txt-Dateihilft den Webmastern, die Webseiten, Mediendateien und Ressourcendateien außerhalb der Reichweite aller Suchmaschinen-Crawler zu halten. Vereinfacht ausgedrückt wird es dazu verwendet, URLs oder Bilder, Videos, Audios, Skripte und Stildateien von den SERPs fernzuhalten.

Die meisten SEOs neigen dazu, die Datei „Robots.txt“ zu nutzen, um zu verhindern, dass Webseiten in den Suchmaschinenergebnissen angezeigt werden. Es sollte jedoch nicht für diesen Zweck verwendet werden, da es andere Möglichkeiten gibt, wie z. B. die Anwendung von Meta-Robots-Anweisungen und Passwortverschlüsselung.

Beachten Sie, dass die Datei Robots.txt nur verwendet werden sollte, um zu verhindern, dass die Crawler eine Website mit Crawling-Anfragen überlasten. Darüber hinaus kann die Robots.txt-Datei bei Bedarf verwendet werden, um das Crawling-Budget zu schonen, indem die Webseiten blockiert werden, die entweder unwichtig oder unterentwickelt sind.

Vorteile der Verwendung der Robots.txt-Datei

Die Datei „Robots.txt“ kann sowohl ein Trumpf als auch eine Gefahr für die Suchmaschinenoptimierung Ihrer Website sein. Abgesehen von der riskanten Möglichkeit, dass Sie den Suchmaschinen-Bots unbeabsichtigt das Crawlen Ihrer gesamten Website verbieten, ist die Datei Robots.txt immer praktisch.

Mithilfe einer Robots.txt-Datei können Webmaster:

• Geben Sie den Speicherort der Sitemap an
• Verbieten Sie das Crawlen von doppelten Inhalten
• Verhindern Sie, dass bestimmte URLs und Dateien in SERPs angezeigt werden
• Legen Sie die Crawl-Verzögerung fest
• Sparen Sie sich das Crawling-Budget

Alle diese Vorgehensweisen gelten als die besten für die Website-SEO und nur Robots.txt kann Ihnen bei der Bewerbung helfen

Einschränkungen bei der Verwendung der Datei „Robots.txt“.

Alle Webmaster müssen wissen, dass der Robots Exclusion Standard in manchen Fällen das Crawlen von Webseiten wahrscheinlich nicht verhindern kann. Es gibt bestimmte Einschränkungen bei der Verwendung der Robots.txt-Datei, wie zum Beispiel:

• Nicht alle Suchmaschinen-Crawler folgen den robots.txt-Anweisungen
• Jeder Crawler hat seine eigene Art, die robots.txt-Syntax zu verstehen
• Es besteht die Möglichkeit, dass der Googlebot eine unzulässige URL crawlen kann

Bestimmte SEO-Maßnahmen können durchgeführt werden, um sicherzustellen, dass die blockierten URLs vor allen Suchmaschinen-Crawlern verborgen bleiben.

Erstellen der Robots.txt-Datei

Schauen Sie sich diese Beispielformate an, um zu erfahren, wie Sie Ihre Robots.txt-Datei erstellen und ändern können:

User-Agent: * Disallow: / gibt an, dass jedem Suchmaschinen-Crawler das Crawlen aller Webseiten untersagt ist

User-Agent: * Disallow: Gibt an, dass jeder Suchmaschinen-Crawler die gesamte Website crawlen darf

User-Agent: Googlebot Disallow: / gibt an, dass nur dem Google-Crawler das Crawlen aller Seiten der Website untersagt ist

Benutzeragent: * Disallow: /subfolder/ gibt an, dass kein Suchmaschinen-Crawler auf eine Webseite dieses bestimmten Unterordners oder dieser bestimmten Kategorie zugreifen kann

Sie können Ihre Robots.txt-Datei auf die gleiche Weise erstellen und ändern. Seien Sie einfach vorsichtig mit der Syntax und formatieren Sie die Robots.txt gemäß den vorgeschriebenen Regeln.

Robots.txt-Syntax

Die Robots.txt-Syntax bezieht sich auf die Sprache, die wir zum Formatieren und Strukturieren der robots.txt-Dateien verwenden. Lassen Sie sich von uns über die Grundbegriffe informieren, aus denen sich die Robots.txt-Syntax zusammensetzt.

Der User-Agent ist der Suchmaschinen-Crawler, dem Sie Crawling-Anweisungen bereitstellen, darunter auch, welche URLs gecrawlt werden sollen und welche nicht.

Disallow ist eine Robots-Meta-Anweisung, die die Benutzeragenten anweist, die entsprechende URL nicht zu crawlen

Allow ist eine Robots-Meta-Anweisung, die nur für Googlebot gilt. Es weist den Google-Crawler an, auf eine Webseite oder einen Unterordner zuzugreifen, sie zu crawlen und sie dann zu indizieren.

Crawl-Verzögerung bestimmt den Zeitraum in Sekunden, den ein Crawler warten sollte, bevor er Webinhalte crawlt. Zur Klarstellung: Der Google-Crawler folgt diesem Befehl nicht. Bei Bedarf können Sie die Crawling-Rate jedoch über die Google Search Console festlegen.

Sitemap gibt den Speicherort der XML-Sitemap(s) der jeweiligen Website an. Nur Google, Ask, Bing und Yahoo erkennen diesen Befehl an.

Sonderzeichen wie *, / und $ erleichtern es den Crawlern, die Anweisungen zu verstehen. Wie der Name schon sagt, hat jedes dieser Zeichen eine besondere Bedeutung:

* bedeutet, dass alle Crawler die jeweilige Website crawlen dürfen bzw. nicht dürfen. / bedeutet, dass die Allow/Disallow-Anweisung für alle Webseiten gilt

Kurzinformationen zu Robots.txt

• ➔ Die Robots.txt-Datei einer Subdomain wird separat erstellt
• ➔ Der Name der Robots.txt-Datei muss in Kleinbuchstaben als „robots.txt“ gespeichert werden, da die Groß-/Kleinschreibung beachtet wird.
• ➔ Die Robots.txt-Datei muss im obersten Verzeichnis der Website abgelegt werden
• ➔ Nicht alle Crawler (User-Agents) unterstützen die robots.txt-Datei
• ➔ Der Google-Crawler kann die blockierten URLs von verlinkten Websites finden
• ➔ Die Robots.txt-Datei jeder Website ist öffentlich zugänglich, was bedeutet, dass jeder darauf zugreifen kann

PRO-Tipp:Verwenden Sie im dringenden Bedarf andere URL-Blockierungsmethoden wie Passwortverschlüsselung und Robots-Meta-Tags anstelle der robots.txt-Datei, um das Crawlen bestimmter Webseiten zu verhindern.