Robots.txt 検証ツール

ETTVI の Robots.txt 検証ツール

検索エンジンがリアルタイムでウェブサイトをクロールしたりインデックスしたりすることを禁止するロボット除外を見つけます

重要でない Web ページ、メディア ファイル、リソース ファイルがすべてクロールからブロックされていることを確認します。ETTVI の Robots.txt Validator を使用して、検索エンジン クローラー (ユーザー エージェント) が Web サイトをクロールするように指示される方法を検証します。Web サイトの URL を入力し、ユーザー エージェントを選択して、Web ページのクロールやインデックス作成などの各ユーザー エージェントのアクティビティを許可するか禁止するかを確認します。

ETTVI の Robots.txt バリデータを使用すると、すべてのクローラーが特定のページ/ファイルのクロールを禁止されているかどうか、またはクロールできない特定のロボットがあるかどうかを簡単に確認できるようになりました。

この便利な SEO ツールを無料で利用して、Web クローラーの動作を監視し、Web サイトのクロール バジェットを調整します。

ETTVI の Robots.txt バリデーターの使い方

ETTVI の高度なツールを使用して Web サイトの robots.txt ファイルをテストするには、次の簡単な手順に従ってください。

ステップ1 - URLを入力する

ウェブサイトの URL を次のように記述します。

注意: スラッシュの後に「robots.txt」を追加することを忘れないでください。

ステップ2 - ユーザーエージェントの選択

robots.txt ファイルを検査するクローラーを指定します

次のいずれかのユーザーエージェントを選択できます。

• Google ボット
• Google ボットニュース
• アドセンス
• 広告ボット
• ビングボット
• MSNボットメディア
• ヤフー！
• ダックダックゴー
• 百度
• ヤンデックス
• フェイスブック
• ツイッターボット
• ボティファイ

ステップ3 - Robots.txtファイルの検証

「チェック」をクリックすると、ETTVI の無料 Robots.txt バリデーターが実行され、指定された Web サイトのロボット メタ ディレクティブを識別して検査します。選択されたボットがクロールできる URL とクロールできない URL が強調表示されます。

「チェック」をクリックすると、ETTVI の無料 Robots.txt バリデーターが実行され、指定された Web サイトのロボット メタ ディレクティブを識別して検査します。選択されたボットがクロールできる URL とクロールできない URL が強調表示されます。

ユーザーエージェント: * は、すべての検索エンジンクローラーがウェブサイトのクロールを許可/禁止していることを示します。

許可: URL がそれぞれの検索エンジンクローラーによってクロールできることを示します。

Disallow: 当該検索エンジンクローラーが URL をクロールできないことを示します。

ETTVI の Robots.txt バリデータを使用する理由

ユーザーフレンドリーなインターフェース

必要なのは、Web サイトの URL を入力してツールを実行するだけです。指定された Web サイトの robots.txt ファイルをすばやく処理して、ブロックされたすべての URL と robots メタ ディレクティブを追跡します。初心者でもエキスパートでも、選択したユーザー エージェント (クローラー) に対して許可/禁止ディレクティブを含む URL を簡単に見つけることができます。

効率的なSEOツール

ETTVI の Robots.txt Validator は、SEO の専門家にとって必須のツールです。ウェブサイトの robot.txt ファイルをすべてのユーザー エージェントに対して検査し、ウェブサイトの SEO に悪影響を与える論理エラーや構文エラーを追跡するのに数秒しかかかりません。これは、クロール バジェットを節約し、検索エンジン ロボットが不要なページをクロールしないようにするための最も簡単な方法です。

出入り自由

ETTVI の Robots.txt テスターを使用すると、サブスクリプション料金を請求されることなく、任意の Web サイトの robots.txt ファイルを監査して、Web サイトが適切にクロールされ、インデックス付けされていることを確認できます。

無制限の使用

ユーザー エクスペリエンスをさらに向上させるため、ETTVI の Robots.txt チェッカーでは、制限に関係なくアクセスして使用できます。世界中の人々がこの高度な SEO ツールを利用して、いつでも好きなときに、あらゆる Web サイトのロボット排除標準を検証できます。

Robots.txt ファイルを理解する

Robots.txt ファイルはテクニカル SEO の要であり、主に検索エンジン クローラーの動作を制御するために使用されます。したがって、この究極のガイドを読んで、Robots.txt ファイルがどのように機能するか、そしてそれを最適化された方法で作成する方法を理解してください。

Robots.txt ファイルとは何ですか?

Robots.txt ファイルは、クローラーが Web ページにアクセスしてクロールすることを許可または禁止します。Robots.txt ファイルは、検索エンジン クローラーの取扱説明書と考えてください。このファイルには、Web サイトのどの部分がアクセス可能で、どの部分がアクセス不可能であるかを指定する一連の指示が含まれています。

もっと明確に言えば、robots.txt ファイルにより、ウェブマスターはクローラーを制御して、何にどのようにアクセスするかを制御できます。クローラーはサイト構造に直接アクセスすることはなく、それぞれのウェブサイトの robots.txt ファイルにアクセスして、どの URL がクロール可能で、どの URL がクロール不可かを判断します。

Robots.txt ファイルの使用

Robots.txt ファイルは、ウェブマスターがウェブページ、メディア ファイル、リソース ファイルをすべての検索エンジン クローラーの手の届かないところに保つのに役立ちます。簡単に言えば、URL や画像、ビデオ、オーディオ、スクリプト、スタイル ファイルを SERP から除外するために使用されます。

SEO 担当者の大半は、検索エンジンの結果に Web ページが表示されないようにブロックする手段として Robots.txt ファイルを活用する傾向があります。ただし、メタ ロボット ディレクティブの適用やパスワードの暗号化など、他の方法もあるため、この目的で使用すべきではありません。

Robots.txt ファイルは、クローラーがクロール要求で Web サイトに過負荷をかけるのを防ぐためだけに使用してください。さらに、必要に応じて、Robots.txt ファイルを使用して、重要でない Web ページや開発中の Web ページをブロックすることで、クロール バジェットを節約することもできます。

Robots.txt ファイルを使用する利点

Robots.txt ファイルは、ウェブサイトの SEO にとって切り札にもなり、危険にもなり得ます。検索エンジン ボットがウェブサイト全体をクロールすることを意図せずに禁止してしまうという危険な可能性を除けば、Robots.txt ファイルは常に役立ちます。

Robots.txt ファイルを使用すると、ウェブマスターは次のことができます。

• サイトマップの場所を指定する
• 重複コンテンツのクロールを禁止する
• 特定のURLやファイルがSERPに表示されないようにする
• クロール遅延を設定する
• クロール予算を節約する

これらの方法はすべてウェブサイトのSEOに最適と考えられており、Robots.txtだけが適用に役立ちます。

Robots.txt ファイルの使用に関する制限

すべてのウェブマスターは、場合によっては Robots Exclusion Standard がウェブページのクロールを阻止できない可能性があることを知っておく必要があります。Robots.txt ファイルの使用には、次のような特定の制限があります。

• すべての検索エンジンクローラーがrobots.txtの指示に従うわけではない
• 各クローラーはrobots.txtの構文を理解する独自の方法を持っています
• Googlebot が許可されていない URL をクロールする可能性があります

特定の SEO 手法を実行することで、ブロックされた URL がすべての検索エンジン クローラーから隠されたままになることを確認できます。

Robots.txt ファイルの作成

Robots.txt ファイルを作成および変更する方法については、次のサンプル形式を参照してください。

ユーザーエージェント: * Disallow: / は、すべての検索エンジンクローラーがすべてのウェブページをクロールすることを禁止することを示します。

ユーザーエージェント: * 許可しない: すべての検索エンジンクローラーがウェブサイト全体をクロールできることを示します

ユーザーエージェント: Googlebot Disallow: / は、Google クローラのみがウェブサイト上のすべてのページのクロールを禁止されていることを示します。

ユーザーエージェント: * Disallow: /subfolder/ は、検索エンジンのクローラーがこの特定のサブフォルダーまたはカテゴリの Web ページにアクセスできないことを示します。

Robots.txt ファイルも同様の方法で作成および変更できます。ただし、構文に注意し、規定のルールに従って Robots.txt をフォーマットしてください。

robots.txt 構文

Robots.txt 構文とは、robots.txt ファイルのフォーマットと構造化に使用する言語を指します。Robots.txt 構文を構成する基本用語に関する情報を提供します。

ユーザーエージェントは、クロールする URL とクロールしない URL などのクロール指示を提供する検索エンジン クローラーです。

Disallowは、ユーザーエージェントにそれぞれのURLをクロールしないように指示するロボットメタディレクティブです。

Allow は、Googlebot にのみ適用される robots メタ ディレクティブです。Google クローラーに、Web ページまたはサブフォルダーにアクセスしてクロールし、インデックスを作成できることを指示します。

Crawl-delay は、クローラーが Web コンテンツをクロールする前に待機する時間を秒単位で指定します。ちなみに、Google クローラーはこのコマンドに従いません。いずれにしても、必要に応じて、Google Search Console からクロール レートを設定できます。

Sitemap は、指定された Web サイトの XML サイトマップの場所を指定します。このコマンドを認識するのは、Google、Ask、Bing、Yahoo のみです。

*、/、$ などの特殊文字を使用すると、クローラーがディレクティブを理解しやすくなります。名前の通り、これらの文字はそれぞれ特別な意味を持っています。

* は、すべてのクローラーがそれぞれのウェブサイトをクロールすることを許可/禁止することを意味します。/ は、許可/禁止の指示がすべてのウェブページに対して適用されることを意味します。

Robots.txt の簡単な概要

• ➔ サブドメインのRobots.txtファイルは別途作成されます
• ➔ Robots.txt ファイルの名前は大文字と小文字が区別されるため、「 robots.txt 」のように小文字で保存する必要があります。
• ➔ Robots.txtファイルはウェブサイトの最上位ディレクトリに配置する必要があります
• ➔ すべてのクローラー（ユーザーエージェント）がrobots.txtファイルをサポートしているわけではありません
• ➔ GoogleクローラーはリンクされたウェブサイトからブロックされたURLを見つけることができます
• ➔ すべてのウェブサイトのRobots.txtファイルは公開されており、誰でもアクセスできます。

プロのヒント:緊急の場合は、robots.txt ファイルではなく、パスワード暗号化やロボット メタ タグなどの他の URL ブロック方法を使用して、特定の Web ページのクロールを防止します。