Robots.txt バリデーター

ETVI の Robots.txt バリデーターの使用方法?

ETVI の高度なツールを使用して Web サイトの robots.txt ファイルをテストするには、次の簡単な手順に従ってください。

ステップ 1 - URL を入力します

Web サイトの URL を次のように記述します。

注: スラッシュの後に「robots.txt」を追加することを忘れないでください。

ステップ 2 - ユーザーエージェントの選択

robots.txt ファイルを検査するクローラーを指定します

次のユーザー エージェントのいずれかを選択できます。

• Googleボット
• Googleボットニュース
• アドセンス
• 広告ボット
• ビングボット
• MSNBot メディア
• ヤフー！
• アヒルダックゴー
• 百度
• ヤンデックス
• フェイスブック
• ツイッターボット
• ボット化

ステップ 3 - Robots.txt ファイルを検証する

「チェック」をクリックすると、ETTVI の無料 Robots.txt バリデーターが実行され、指定された Web サイトのロボット メタ ディレクティブを識別して検査します。選択したボットがクロールできる URL またはクロールできない URL が強調表示されます。

「チェック」をクリックすると、ETTVI の無料 Robots.txt バリデーターが実行され、指定された Web サイトのロボット メタ ディレクティブを識別して検査します。選択したボットがクロールできる URL またはクロールできない URL が強調表示されます。

ユーザー エージェント: * は、すべての検索エンジン クローラーが Web サイトのクロールを許可または禁止していることを示します。

許可: それぞれの検索エンジン クローラーによって URL がクロールできることを示します

Disallow: それぞれの検索エンジン クローラーによって URL がクロールできないことを示します。

Robots.txt ファイルとは何ですか?

robots.txt ファイルは、クローラーが Web ページにアクセスしてクロールすることを許可または禁止します。Robots.txt ファイルは、検索エンジン クローラーの取扱説明書と考えてください。これは、Web サイトのどの部分にアクセス可能で、どの部分にアクセスできないかを指定するための一連の手順を提供します。

もっと明確に言うと、robots.txt ファイルを使用すると、ウェブマスターはクローラー、つまり何にどのようにアクセスするかを制御できるようになります。クローラーはサイト構造に直接到達することはなく、それぞれの Web サイトの robots.txt ファイルにアクセスして、どの URL がクロールを許可され、どの URL が禁止されているかを知る必要があることを知っておく必要があります。

Robots.txt ファイルの使用法

あRobots.txt ファイルこれは、ウェブマスターがウェブページ、メディア ファイル、およびリソース ファイルをすべての検索エンジン クローラーの届かない場所に保つのに役立ちます。簡単に言うと、URL や画像、ビデオ、オーディオ、スクリプト、スタイル ファイルを SERP から遠ざけるために使用されます。

大多数の SEO は、Web ページが検索エンジンの結果に表示されるのをブロックする手段として Robots.txt ファイルを活用する傾向があります。ただし、メタ ロボット ディレクティブの適用やパスワード暗号化など、他の方法があるため、この目的には使用しないでください。

Robots.txt ファイルは、クローラーによるクロール リクエストによる Web サイトの過負荷を防ぐ目的でのみ使用する必要があることに注意してください。さらに、必要に応じて、Robots.txt ファイルを使用して、重要でない Web ページや開発中の Web ページをブロックすることでクロール バジェットを節約できます。

Robots.txt ファイルを使用する利点

robots.txt ファイルは、Web サイトの SEO にとって、切り札にもなると同時に危険にもなります。検索エンジン ボットによる Web サイト全体のクロールを意図せずに禁止してしまう危険な場合を除いて、Robots.txt ファイルは常に役に立ちます。

Robots.txt ファイルを使用すると、ウェブマスターは次のことができます。

• サイトマップの場所を指定する
• 重複したコンテンツのクロールを禁止する
• 特定の URL とファイルが SERP に表示されないようにする
• クロール遅延を設定する
• クロール予算を節約する

これらの実践方法はすべて、Web サイトの SEO に最適であると考えられており、適用するのに役立つのは Robots.txt だけです。

Robots.txt ファイルの使用に関する制限事項

すべての Web マスターは、場合によっては、ロボット排除基準が Web ページのクロールを防止できない可能性があることを知っておく必要があります。Robots.txt ファイルの使用には、次のような特定の制限があります。

• すべての検索エンジン クローラーが robots.txt ディレクティブに従っているわけではありません
• 各クローラーは、robots.txt 構文を理解する独自の方法を持っています。
• Googlebot が許可されていない URL をクロールできる可能性があります

ブロックされた URL がすべての検索エンジン クローラーから確実に隠されるようにするために、特定の SEO 対策を実行できます。

Robots.txt ファイルの作成

Robots.txt ファイルの作成および変更方法を知るには、次のサンプル形式を参照してください。

ユーザー エージェント: * 禁止: / は、すべての検索エンジン クローラーがすべての Web ページをクロールすることを禁止することを示します

ユーザーエージェント: * 許可しない: すべての検索エンジン クローラーが Web サイト全体をクロールできることを示します

ユーザー エージェント: Googlebot Disallow: / は、Google クローラーのみがウェブサイト上のすべてのページをクロールすることを禁止することを示します

ユーザー エージェント: * 許可しない: /subfolder/ は、検索エンジン クローラーがこの特定のサブフォルダーまたはカテゴリの Web ページにアクセスできないことを示します

同じ方法で Robots.txt ファイルを作成および変更できます。構文には注意し、所定のルールに従って Robots.txt の形式を整えてください。

Robots.txt の構文

robots.txt 構文は、robots.txt ファイルの書式設定と構造化に使用する言語を指します。Robots.txt 構文を構成する基本用語に関する情報を提供します。

ユーザー エージェントは、どの URL をクロールすべきか、どの URL をクロールすべきでないのかなどのクロール指示を提供する検索エンジン クローラーです。

Disallow は、ユーザー エージェントにそれぞれの URL をクロールしないよう指示するロボットのメタ ディレクティブです。

「Allow」は、Googlebot にのみ適用されるロボットのメタ ディレクティブです。これは、Web ページまたはサブフォルダーにアクセスし、クロールし、インデックスを作成できるように Google クローラーに指示します。

クロール遅延は、クローラーが Web コンテンツをクロールする前に待機する時間を秒単位で決定します。記録のために言っておきますが、Google クローラーはこのコマンドに従いません。いずれにしても、必要に応じて、Google Search Console を通じてクロール速度を設定できます。

サイトマップは、指定された Web サイトの XML サイトマップの場所を指定します。Google、Ask、Bing、Yahoo のみがこのコマンドを認識します。

* 、 / 、 $ などの特殊文字を使用すると、クローラーがディレクティブを理解しやすくなります。名前が示すように、これらの文字にはそれぞれ特別な意味があります。

* は、すべてのクローラーがそれぞれの Web サイトのクロールを許可または禁止されていることを意味します。/ は、許可/禁止ディレクティブがすべての Web ページを対象とすることを意味します

Robots.txt の概要

• ➔ サブドメインの Robots.txt ファイルは別途作成されます
• ➔ Robots.txt ファイルの名前は大文字と小文字が区別されるため、小文字で「 robots.txt 」として保存する必要があります。
• ➔ Robots.txt ファイルは Web サイトの最上位ディレクトリに配置する必要があります
• ➔ すべてのクローラー (ユーザーエージェント) が robots.txt ファイルをサポートしているわけではありません
• ➔ Google クローラーは、リンクされた Web サイトからブロックされた URL を見つけることができます
• ➔ すべての Web サイトの Robots.txt ファイルは公開されており、誰でもアクセスできます。

プロのヒント:緊急の場合は、robots.txt ファイルではなく、パスワード暗号化やロボット メタ タグなど、他の URL ブロック方法を使用して、特定の Web ページのクロールを防止します。