Robots.txt-Generator

Wie verwende ich den Robots.txt-Generator von ETTVI?

Mit dem Robots.txt-Generator von ETTVI können Benutzer eine Standard-Robots.txt-Datei mit den Crawling-Anweisungen „Alles zulassen“ oder „Alles nicht zulassen“ generieren sowie eine benutzerdefinierte Robots.txt-Datei mit zusätzlichen Funktionen erstellen.

Generieren Sie eine Standard-Robots.txt-Datei

Befolgen Sie diese Schritte, um eine Standard-Robots.txt-Datei mit Standardeinstellungen zu generieren:

SCHRITT 1 – Robots-Meta-Anweisungen festlegen

Sie können Zulassungs-/Verbietungsanweisungen für „alle Suchmaschinen-Robots“ festlegen, um eine standardmäßige robots.txt-Datei zu generieren. Wählen Sie „Zulassen“ oder „Nicht zulassen“, um die Standardeinstellungen zu übernehmen:

SCHRITT 2 – Geben Sie die Sitemap-Adresse ein

Geben Sie den Link zur Sitemap Ihrer Website ein oder lassen Sie das Feld leer, wenn Sie noch keinen haben.

Sie können mehr als eine kategoriespezifische Sitemap Ihrer Website-Seiten, Beiträge, Kategorien und Tags eingeben.

SCHRITT 3 – Holen Sie sich den Robots.txt-Code

Sobald Sie die erforderlichen Informationen eingeben, generiert der Robots.txt-Generator von ETTVI automatisch den Robots.txt-Code und zeigt ihn an.

Sie können den Code herunterladen oder kopieren, um die Datei „Robots.txt“ an das Stammverzeichnis Ihrer Website zu senden.

Generieren Sie eine benutzerdefinierte Robots.txt-Datei

Befolgen Sie diese Schritte, um eine Standard-Robots.txt-Datei mit Standardeinstellungen zu generieren:

Geben Sie URLs ein:

SCHRITT 2 – Wählen Sie den Benutzeragenten aus

Sie können Meta-Robots-Anweisungen für jeden der folgenden Benutzeragenten festlegen:

• Google
• Google Bild
• Google Mobile
• MSN-Suche
• Yahoo
• Yahoo MM
• Yahoo-Blogs
• Baidu
• MSN PicSearch

Sie können verschiedene Benutzeragenten für verschiedene URLs auswählen.

SCHRITT 3 – Suchmaschinenroboter zulassen/verbieten

Wählen Sie „Zulassen oder nicht zulassen“, um die Robots-Meta-Anweisungen für die angegebenen URLs festzulegen.

Sie können die Anweisung „Zulassen“ oder „Nicht zulassen“ für jede URL separat festlegen.

Robots.txt verstehen?

DerRobots.txt-Dateiist eine Textdatei, die Informationen darüber enthält, wie ein Crawler eine Website crawlen soll. Darüber hinaus können Sie festlegen, auf welche Bereiche Sie den Crawlern keinen Zugriff gewähren möchten, beispielsweise auf Bereiche mit doppeltem Inhalt oder im Aufbau. Es gibt einige Bots, die diesem Standard nicht folgen, darunter Malware-Detektoren und E-Mail-Harvester. Dadurch suchen sie nach Schwachstellen in Ihrem Sicherheitssystem. Wenn Sie nicht möchten, dass bestimmte Bereiche indexiert werden, besteht eine gute Chance, dass Ihre Website von diesen Bereichen aus überprüft wird.

Normalerweise gibt es zwei Robots.txt-Dateien: Eine stellt den „Benutzeragenten“ bereit und die andere enthält Anweisungen wie „Zulassen“, „Nicht zulassen“, „Crawl-Verzögerung“ usw. Das manuelle Schreiben einer Datei mit Befehlszeilen kann einige Zeit in Anspruch nehmen Dies dauert sehr lange und die Datei kann mehrere Befehlszeilen gleichzeitig enthalten. Auf der folgenden Seite sollten Sie „Nicht zulassen: den Link, den Bots nicht besuchen sollen“ schreiben. Die gleiche Methode gilt für den Befehl „allowing“.

Warum ist Robots.txt wichtig?

Robots.txt-Dateien werden von den meisten Websites nicht benötigt. Dadurch ist Google oft in der Lage, alle wichtigen Seiten Ihrer Website problemlos zu finden und zu indizieren. Und sie indizieren keine Seiten, die nicht wichtig sind, oder Duplikate bereits indizierter Seiten.

Es gibt jedoch drei Hauptgründe für die Verwendung einer robots.txt-Datei.

Lassen Sie nicht zu, dass nicht-öffentliche Seiten angezeigt werden. Manchmal möchten Sie nicht, dass bestimmte Seiten auf Ihrer Website indiziert werden. Sie könnten beispielsweise über Staging-Versionen bestimmter Seiten oder einer Anmeldeseite verfügen. Es ist zwingend erforderlich, dass diese Seiten existieren und unerwünschte Benutzer nicht auf sie verwiesen werden dürfen. Daher sollte die robots.txt-Datei verwendet werden, um Crawlern und Bots den Zugriff auf diese Seiten zu verweigern.

Machen Sie das Beste aus Ihrem Crawl-Budget. Wenn Sie Schwierigkeiten haben, Ihre Seiten zu indizieren, liegt möglicherweise ein Problem mit dem Crawling-Budget vor. Wenn Sie robots.txt verwenden, um unwichtige Seiten zu blockieren, verbringt der Googlebot mehr Zeit auf den Webseiten, die tatsächlich wichtig sind.

Ressourcen sollten nicht indiziert werden. Sie können Metaanweisungen verwenden, um zu verhindern, dass eine Seite genauso effizient indiziert wird wie die Verwendung einer Robot.txt-Datei. Meta-Anweisungen funktionieren jedoch nicht gut mit Multimedia-Ressourcen wie PDFs und Bildern. In diesem Fall wäre robots.txt nützlich.

Wenn Suchmaschinen-Bots Dateien untersuchen, suchen sie zunächst nach der robots.txt-Datei. Wenn diese Datei nicht gefunden wird, besteht eine erhebliche Wahrscheinlichkeit, dass nicht alle Seiten Ihrer Website indiziert werden. Wenn Sie weitere Seiten hinzufügen, können Sie die Datei Robot.txt mit ein paar Anweisungen ändern, indem Sie die Hauptseite zur Sperrliste hinzufügen. Vermeiden Sie es jedoch, die Hauptseite am Anfang der Datei zur Sperrliste hinzuzufügen.

Es gibt ein Budget für das Crawlen der Google-Website. Dieses Budget wird durch ein Crawling-Limit bestimmt. In der Regel verbringen Crawler eine gewisse Zeit auf einer Website, bevor sie mit der nächsten fortfahren. Wenn Google jedoch feststellt, dass das Crawlen Ihrer Website Ihre Nutzer stört, wird das Crawlen Ihrer Website langsamer. Aufgrund des langsameren Spiderings Ihrer Website durch Google werden jeweils nur wenige Seiten Ihrer Website indiziert, sodass die vollständige Indexierung Ihres letzten Beitrags einige Zeit in Anspruch nehmen wird. Um dieses Problem zu beheben, ist es erforderlich, dass Ihre Website über eine Sitemap und eine robots.txt-Datei verfügt. Der Crawling-Prozess wird beschleunigt, indem sie auf die Links Ihrer Website weitergeleitet werden, die besondere Aufmerksamkeit erfordern, um den Crawling-Prozess zu beschleunigen.

Zusätzlich zur Crawling-Rate für eine Website verfügt jeder Bot über sein eigenes Crawling-Quote. Deshalb benötigen Sie eine Robot-Datei für Ihre WordPress-Website. Dies liegt daran, dass es aus sehr vielen Seiten besteht, die für die Indexierung nicht benötigt werden. Wenn Sie sich außerdem dafür entscheiden, keine robots.txt-Datei einzuschließen, indizieren Crawler Ihre Website trotzdem, aber es ist nicht notwendig, es sei denn, es handelt sich um einen sehr großen Blog und enthält viele Seiten.

Der Zweck von Anweisungen in einer Robot.txt-Datei:

Beim Erstellen der manuellen Datei ist es unbedingt erforderlich, dass Sie wissen, wie die Datei formatiert werden soll. Darüber hinaus können Sie es ändern, nachdem Sie die Funktionsweise kennengelernt haben.

Crawl-Zeitverzögerung: Durch Festlegen dieser Anweisung überlasten Crawler den Server nicht, da zu viele Anfragen zu einer Überlastung des Servers führen und nicht zu einer optimalen Benutzererfahrung führen. Verschiedene Suchmaschinen-Bots reagieren unterschiedlich auf die Crawl-Delay-Anweisung. Bing, Google und Yandex reagieren beispielsweise alle unterschiedlich.

Zulassen: Durch die Verwendung dieser Anweisung ermöglichen wir die Indizierung der folgenden URLs. Unabhängig von der Anzahl der URLs, die Sie Ihrer Liste hinzufügen können, müssen Sie möglicherweise viele URLs hinzufügen, wenn Sie eine E-Commerce-Website betreiben. Wenn Sie sich für die Verwendung der Robots-Datei entscheiden, sollten Sie diese nur für die Seiten verwenden, die nicht indiziert werden sollen.

Nicht zulassen: Zu den wichtigsten Funktionen einer Robots-Datei gehört es, zu verhindern, dass Crawler auf darin enthaltene Links, Verzeichnisse usw. zugreifen können. Allerdings können andere Bots auf diese Verzeichnisse zugreifen, was bedeutet, dass sie nach Malware suchen müssen, da diese nicht konform sind.

Unterschied zwischen einer Sitemap und einer Robot.txt-Datei

Eine Sitemap enthält wertvolle Informationen für Suchmaschinen und ist für alle Websites unerlässlich. Sitemaps informieren Bots, wenn Ihre Website aktualisiert wird und welche Art von Inhalten Ihre Website bietet. Der Zweck der Seite besteht darin, die Suchmaschine über alle Seiten Ihrer Website zu informieren, die gecrawlt werden sollten, während der Zweck der robots.txt-Datei darin besteht, den Crawler zu benachrichtigen. Mithilfe von Robot.txt wird Crawlern mitgeteilt, welche Seiten gecrawlt werden sollen und welche nicht. Für die Indexierung Ihrer Website benötigen Sie eine Sitemap, während robot.txt nicht erforderlich ist.