Validátor souborů robots.txt

Jak používat ETTVI's Robots.txt Validator?

Chcete-li otestovat soubor robots.txt webové stránky pomocí pokročilého nástroje ETTVI, postupujte podle těchto jednoduchých kroků:

KROK 1 – Zadejte URL

Napište adresu URL webu následovně:

Poznámka: Za lomítkem nezapomeňte přidat „robots.txt“.

KROK 2 - Vyberte User-Agent

Zadejte prohledávač, proti kterému chcete soubor robots.txt zkontrolovat

Můžete si vybrat kteréhokoli z následujících uživatelských agentů:

• Google Bot
• Zprávy o robotech Google
• AdSense
• AdsBot
• BingBot
• MSNBot-Media
• Yahoo!
• DuckDuckGo
• Baidu
• Yandex
• Facebook
• TwitterBot
• Botify

KROK 3 – Ověřte soubor Robots.txt

Když kliknete na „Zkontrolovat“, spustí se ETTVI Free Robots.txt Validator, který identifikuje a kontroluje meta směrnice robotů dané webové stránky. Zvýrazňuje adresy URL, které vybraný robot může nebo nemůže procházet.

Když kliknete na „Zkontrolovat“, spustí se ETTVI Free Robots.txt Validator, který identifikuje a kontroluje meta směrnice robotů dané webové stránky. Zvýrazňuje adresy URL, které vybraný robot může nebo nemůže procházet.

User-agent: * označuje, že všechny prohledávače vyhledávačů mají povoleno/nepovoleno procházet web

Povolit: označuje, že adresu URL mohou procházet příslušné prohledávače vyhledávače

Disallow: indicatDisallow:es, že adresu URL nemůže procházet příslušný prohledávač(y) vyhledávače

Co je soubor Robots.txt?

Soubor Robots.txt umožňuje nebo zakazuje prohledávačům přístup a procházení webových stránek. Představte si soubor Robots.txt jako návod k použití pro prohledávače vyhledávačů. Poskytuje sadu pokynů pro určení, které části webu jsou přístupné a které ne.

Ještě jasněji, soubor robots.txt umožňuje správcům webu ovládat prohledávače – k čemu mají přistupovat a jak. Musíte vědět, že prohledávač se nikdy nedostane přímo na strukturu webu, ale přistupuje k souboru robots.txt příslušného webu, aby zjistil, které adresy URL je povoleno procházet a které adresy URL jsou zakázány.

Použití souboru Robots.txt

ASoubor robots.txtpomáhá webmasterům udržovat webové stránky, mediální soubory a zdrojové soubory mimo dosah všech prohledávačů vyhledávačů. Jednoduše řečeno, používá se k udržování URL nebo obrázků, videí, audia, skriptů a souborů stylů mimo SERP.

Většina SEO má tendenci využívat soubor Robots.txt jako prostředek k zablokování zobrazování webových stránek ve výsledcích vyhledávače. Nemělo by se však používat pro tento účel, protože existují jiné způsoby, jak to udělat, jako je použití direktiv meta robots a šifrování hesel.

Pamatujte, že soubor Robots.txt by se měl používat pouze k tomu, aby prohledávače nepřetěžovaly web požadavky na procházení. V případě potřeby lze navíc soubor Robots.txt použít k úspoře rozpočtu na procházení blokováním webových stránek, které jsou buď nedůležité nebo nedostatečně vyvinuté.

Výhody použití souboru Robots.txt

Soubor Robots.txt může být jak esem v díře, tak nebezpečím pro SEO vašeho webu. Kromě riskantní možnosti, že neúmyslně zakážete robotům vyhledávače procházet celý váš web, se soubor Robots.txt vždy hodí.

Pomocí souboru Robots.txt mohou správci webu:

• Zadejte umístění mapy webu
• Zakažte procházení duplicitního obsahu
• Zabraňte zobrazování určitých adres URL a souborů v SERP
• Nastavte zpoždění procházení
• Ušetřete rozpočet procházení

Všechny tyto postupy jsou považovány za nejlepší pro SEO webu a pouze Robots.txt vám může pomoci se přihlásit

Omezení používání souboru Robots.txt

Všichni správci webu musí vědět, že v některých případech Robots Exclusion Standard pravděpodobně nedokáže zabránit procházení webových stránek. Existují určitá omezení pro použití souboru Robots.txt, například:

• Ne všechny prohledávače vyhledávačů dodržují směrnice robots.txt
• Každý prohledávač má svůj vlastní způsob chápání syntaxe souboru robots.txt
• Je možné, že Googlebot může procházet nepovolenou adresu URL

Některé postupy SEO lze provést, aby se zajistilo, že blokované adresy URL zůstanou skryté před všemi prohledávači vyhledávačů.

Vytvoření souboru Robots.txt

Podívejte se na tyto ukázkové formáty, abyste věděli, jak můžete vytvořit a upravit svůj soubor Robots.txt:

User-agent: * Disallow: / označuje, že každý prohledávač vyhledávače má zakázáno procházet všechny webové stránky

User-agent: * Disallow: znamená, že každý prohledávač vyhledávače může procházet celý web

User-agent: Googlebot Disallow: / označuje, že pouze prohledávač Google má zakázáno procházet všechny stránky na webu

User-agent: * Disallow: /podsložka/ znamená, že žádný prohledávač vyhledávače nemá přístup k žádné webové stránce této konkrétní podsložky nebo kategorie

Stejným způsobem můžete vytvořit a upravit svůj soubor Robots.txt. Jen buďte opatrní ohledně syntaxe a naformátujte soubor Robots.txt podle předepsaných pravidel.

Syntaxe robots.txt

Syntaxe robots.txt odkazuje na jazyk, který používáme k formátování a strukturování souborů robots.txt. Dovolte nám, abychom vám poskytli informace o základních pojmech, které tvoří Syntaxi Robots.txt.

User-agent je prohledávač vyhledávače, kterému poskytujete pokyny pro procházení včetně toho, které adresy URL by se měly procházet a které nikoli.

Disallow je meta direktiva robots, která dává uživatelským agentům pokyn, aby neprocházeli příslušnou adresu URL

Allow je metadirektiva robots, která se vztahuje pouze na Googlebota. Instruuje prohledávač Google, že může přistupovat, procházet a indexovat webovou stránku nebo podsložku.

Crawl-delay určuje časové období v sekundách, které by měl prohledávač čekat, než začne procházet webový obsah. Prohledávač Google tento příkaz nesleduje. Každopádně, pokud je to nutné, můžete nastavit rychlost procházení prostřednictvím Google Search Console.

Sitemap specifikuje umístění XML sitemap (souborů) daného webu. Tento příkaz uznávají pouze Google, Ask, Bing a Yahoo.

Speciální znaky včetně * , / a $ usnadňují prohledávačům pochopení direktiv. Jak název napovídá, každý z těchto znaků má zvláštní význam:

* znamená, že všechny prohledávače mají povoleno/nepovoleno procházet příslušnou webovou stránku. / znamená, že direktiva allow/disallow platí pro všechny webové stránky

Robots.txt Rychlá fakta

• ➔ Soubor Robots.txt subdomény se vytvoří samostatně
• ➔ Název souboru Robots.txt musí být uložen malými písmeny jako „ robots.txt “, protože rozlišuje velká a malá písmena.
• ➔ Soubor Robots.txt musí být umístěn v adresáři nejvyšší úrovně webu
• ➔ Ne všechny prohledávače (user-agents) podporují soubor robots.txt
• ➔ Prohledávač Google může najít blokované adresy URL z propojených webových stránek
• ➔ Soubor Robots.txt každé webové stránky je veřejně přístupný, což znamená, že k němu má přístup kdokoli

Profesionální tip :V případě naléhavé potřeby použijte jiné metody blokování adres URL, jako je šifrování hesel a metaznačky robots, místo souboru robots.txt, abyste zabránili procházení určitých webových stránek.