Walidator pliku robots.txt

Jak korzystać z walidatora pliku Robots.txt firmy ETTVI?

Wykonaj poniższe proste kroki, aby przetestować plik robots.txt witryny internetowej za pomocą zaawansowanego narzędzia ETTVI:

KROK 1 – Wprowadź adres URL

Wpisz adres URL witryny internetowej w następujący sposób:

Uwaga: nie zapomnij dodać „robots.txt” po ukośniku.

KROK 2 - Wybierz Agenta użytkownika

Określ robota, względem którego chcesz sprawdzić plik robots.txt

Możesz wybrać dowolny z następujących klientów użytkownika:

• Bota Google
• Wiadomości o Google Bocie
• Adsens
• Bot reklam
• BingBota
• MSNBot-Media
• Wieśniak!
• KaczkaKaczkaGo
• Baidu
• Yandex
• Facebook
• TwitterBot
• Botify

KROK 3 — Sprawdź poprawność pliku Robots.txt

Po kliknięciu „Sprawdź” uruchomiony zostanie bezpłatny Walidator pliku Robots.txt firmy ETTVI w celu identyfikacji i sprawdzenia metadyrektyw robotów danej witryny. Podświetla adresy URL, które wybrany bot może lub nie może indeksować.

Po kliknięciu „Sprawdź” uruchomiony zostanie bezpłatny Walidator pliku Robots.txt firmy ETTVI w celu identyfikacji i sprawdzenia metadyrektyw robotów danej witryny. Podświetla adresy URL, które wybrany bot może lub nie może indeksować.

User-agent: * wskazuje, że wszystkie roboty wyszukiwarek mogą lub nie mogą indeksować witryny

Zezwalaj: wskazuje, że adres URL może zostać przeszukany przez odpowiednie roboty wyszukiwarek

Disallow: indicatDisallow: oznacza, że ​​adres URL nie może zostać przeszukany przez odpowiednie roboty wyszukiwarki

Co to jest plik Robots.txt?

Plik Robots.txt umożliwia lub uniemożliwia robotom dostęp do stron internetowych i ich przeszukiwanie. Pomyśl o pliku Robots.txt jak o instrukcji obsługi robotów wyszukiwarek. Zawiera zestaw instrukcji określających, które części witryny są dostępne, a które nie.

Mówiąc jaśniej, plik robots.txt umożliwia webmasterom kontrolowanie robotów indeksujących – do czego i jak uzyskać dostęp. Musisz wiedzieć, że robot indeksujący nigdy nie ląduje bezpośrednio na strukturze witryny, raczej uzyskuje dostęp do pliku robots.txt danej witryny, aby dowiedzieć się, które adresy URL mogą być indeksowane, a które nie.

Wykorzystanie pliku Robots.txt

APlik robots.txtpomaga webmasterom chronić strony internetowe, pliki multimedialne i pliki zasobów poza zasięgiem wszystkich robotów wyszukiwarek. Krótko mówiąc, służy do utrzymywania adresów URL lub obrazów, filmów, plików audio, skryptów i plików stylów poza SERP.

Większość SEO ma tendencję do wykorzystywania pliku Robots.txt jako środka do blokowania wyświetlania stron internetowych w wynikach wyszukiwania. Nie należy go jednak używać w tym celu, ponieważ można to zrobić w inny sposób, na przykład poprzez zastosowanie dyrektyw metarobotów i szyfrowanie haseł.

Należy pamiętać, że pliku Robots.txt należy używać wyłącznie w celu zapobiegania przeciążaniu witryny przez roboty indeksujące żądaniami indeksowania. Co więcej, jeśli zajdzie taka potrzeba, plik Robots.txt może zostać wykorzystany do zaoszczędzenia budżetu indeksowania poprzez zablokowanie stron internetowych, które są albo nieistotne, albo słabo rozwinięte.

Korzyści z używania pliku Robots.txt

Plik robots.txt może być zarówno asem w rękawie, jak i zagrożeniem dla SEO Twojej witryny. Z wyjątkiem ryzykownej możliwości niezamierzonego uniemożliwienia botom wyszukiwarek indeksowania całej witryny, plik Robots.txt zawsze się przydaje.

Korzystając z pliku Robots.txt, webmasterzy mogą:

• Określ lokalizację mapy witryny
• Zabroń indeksowania zduplikowanych treści
• Zapobiegaj pojawianiu się niektórych adresów URL i plików w SERPach
• Ustaw opóźnienie indeksowania
• Zapisz budżet indeksowania

Wszystkie te praktyki są uważane za najlepsze z punktu widzenia SEO witryny i tylko plik Robots.txt może pomóc w ich zastosowaniu

Ograniczenia w korzystaniu z pliku Robots.txt

Wszyscy webmasterzy muszą wiedzieć, że w niektórych przypadkach Standard wykluczania robotów prawdopodobnie nie zapobiega indeksowaniu stron internetowych. Istnieją pewne ograniczenia dotyczące korzystania z pliku Robots.txt, takie jak:

• Nie wszystkie roboty wyszukiwarek przestrzegają dyrektyw pliku robots.txt
• Każdy robot ma swój własny sposób rozumienia składni pliku robots.txt
• Istnieje możliwość, że Googlebot może zaindeksować niedozwolony adres URL

Można zastosować pewne praktyki SEO, aby mieć pewność, że zablokowane adresy URL pozostaną ukryte przed wszystkimi robotami wyszukiwarek.

Tworzenie pliku Robots.txt

Przyjrzyj się tym przykładowym formatom, aby dowiedzieć się, jak utworzyć i zmodyfikować plik Robots.txt:

User-agent: * Disallow: / wskazuje, że żaden robot wyszukiwarek nie może przeszukiwać wszystkich stron internetowych

User-agent: * Disallow: wskazuje, że każdy robot wyszukiwarki może przeszukiwać całą witrynę

User-agent: Googlebot Disallow: / wskazuje, że tylko robot Google nie może indeksować wszystkich stron witryny

User-agent: * Disallow: /subfolder/ wskazuje, że żaden robot wyszukiwarki nie może uzyskać dostępu do żadnej strony internetowej tego konkretnego podfolderu lub kategorii

W ten sam sposób możesz tworzyć i modyfikować plik Robots.txt. Zwróć tylko uwagę na składnię i sformatuj plik Robots.txt zgodnie z określonymi zasadami.

Składnia pliku robots.txt

Składnia pliku robots.txt odnosi się do języka, którego używamy do formatowania i struktury plików robots.txt. Przekażemy Państwu informacje na temat podstawowych terminów tworzących składnię pliku Robots.txt.

User-agent to robot wyszukiwarki, któremu przekazujesz instrukcje indeksowania, w tym które adresy URL powinny być indeksowane, a które nie.

Disallow to metadyrektywa dotycząca robotów, która instruuje programy klienckie, aby nie indeksowały odpowiedniego adresu URL

Zezwalaj to metadyrektywa robots, która ma zastosowanie tylko do Googlebota. Instruuje robota Google, że może uzyskać dostęp do strony internetowej lub podfolderu, przeszukać ją, a następnie zaindeksować.

Opóźnienie indeksowania określa czas w sekundach, jaki robot powinien czekać przed przeszukaniem treści internetowych. Dla przypomnienia, robot Google nie wykonuje tego polecenia. W każdym razie, jeśli to konieczne, możesz ustawić szybkość indeksowania za pomocą Google Search Console.

Mapa witryny określa lokalizację mapy witryny XML danej witryny. Tylko Google, Ask, Bing i Yahoo potwierdzają to polecenie.

Znaki specjalne, w tym *, / i $, ułatwiają robotom zrozumienie dyrektyw. Jak sama nazwa wskazuje, każdy z tych znaków ma specjalne znaczenie:

* oznacza, że ​​wszystkie roboty indeksujące mogą lub nie mogą indeksować danej witryny internetowej. / oznacza, że ​​dyrektywa zezwalaj/nie zezwalaj dotyczy wszystkich stron internetowych

Krótkie fakty.txt

• ➔ Plik Robots.txt subdomeny jest tworzony oddzielnie
• ➔ Nazwę pliku Robots.txt należy zapisać małymi literami jako „robos.txt”, ponieważ wielkość liter ma znaczenie.
• ➔ Plik Robots.txt należy umieścić w katalogu najwyższego poziomu serwisu
• ➔ Nie wszystkie roboty (klienty użytkownika) obsługują plik robots.txt
• ➔ Robot Google może znaleźć zablokowane adresy URL witryn, do których prowadzą linki
• ➔ Plik Robots.txt każdej witryny internetowej jest publicznie dostępny, co oznacza, że ​​każdy może uzyskać do niego dostęp

Wskazówka PRO:W pilnej potrzebie użyj innych metod blokowania adresów URL, takich jak szyfrowanie haseł i metatagi robots, zamiast pliku robots.txt, aby zapobiec indeksowaniu niektórych stron internetowych.