Robots.txt ジェネレーター

ETVI の Robots.txt ジェネレーターの使用方法?

ETVI の Robots.txt ジェネレーターを使用すると、ユーザーは「すべて許可」または「すべて禁止」のクロール命令を含むデフォルトの Robots.txt ファイルを生成したり、追加機能を備えたカスタムの Robots.txt ファイルを作成したりできます。

標準の Robots.txt ファイルを生成する

デフォルト設定で標準の Robots.txt ファイルを生成するには、次の手順に従います。

ステップ 1 - ロボットのメタ ディレクティブを設定する

「すべての検索エンジン ロボット」に対して許可/禁止ディレクティブを設定して、標準の robots.txt ファイルを生成できます。「許可」または「禁止」を選択してデフォルト設定を適用します。

ステップ 2 - サイトマップのアドレスを入力

Web サイトのサイトマップへのリンクを入力するか、サイトマップがない場合は空白のままにしてください。

Web サイトのページ、投稿、カテゴリ、タグのカテゴリ固有のサイトマップを複数入力できます。

ステップ 3 - Robots.txt コードを取得する

必要な情報を入力すると、ETTVI の Robots.txt ジェネレーターによって Robots.txt コードが自動的に生成され、表示されます。

コードをダウンロードまたはコピーして、Robots.txt ファイルを Web サイトのルート ディレクトリに送信できます。

カスタマイズされた Robots.txt ファイルの生成

デフォルト設定で標準の Robots.txt ファイルを生成するには、次の手順に従います。

URLを入力してください:

ステップ 2 - ユーザー エージェントの選択

次のいずれかのユーザー エージェントに対してメタ ロボット ディレクティブを設定できます。

• グーグル
• Googleの画像
• Googleモバイル
• MSN 検索
• ヤフー
• ヤフーMM
• ヤフーブログ
• 百度
• MSN PicSearch

異なる URL に対して異なるユーザー エージェントを選択できます。

ステップ 3 - 検索エンジン ロボットを許可/禁止する

「許可または禁止」を選択して、指定された URL のロボット メタ ディレクティブを設定します。

URLごとに「許可」または「禁止」ディレクティブを個別に設定できます。

Robots.txt について理解していますか?

のRobots.txt ファイルクローラーが Web サイトをクロールする方法に関する情報が含まれるテキスト ファイルです。さらに、重複したコンテンツがあるエリアや建設中のエリアなど、クローラーにアクセスを許可したくないエリアを指定できます。マルウェア検出機能やメールハーベスタなど、この標準に準拠していないボットがいくつかあります。その結果、彼らはセキュリティ システムの弱点を探し出します。特定の領域のインデックス作成を希望しない場合、その領域から Web サイトの審査が開始される可能性が十分にあります。

通常、Robots.txt ファイルは 2 つあります。1 つは「ユーザー エージェント」を提供し、もう 1 つは「許可」、「禁止」、「クロール遅延」などのディレクティブを含みます。コマンド ラインのファイルを手動で記述すると、かなりの時間がかかる場合があります。ファイルには一度に複数行のコマンドを含めることができます。次のページに「許可しない: ボットにアクセスさせたくないリンク」と記入する必要があります。同じ方法が「許可」コマンドにも適用されます。

Robots.txt が重要な理由

Robots.txt ファイルは、ほとんどの Web サイトでは必要ありません。その結果、多くの場合、Google は Web サイトの重要なページをすべて見つけて、問題なくインデックスに登録することができます。また、重要ではないページや、すでにインデックスが作成されているページの重複をインデックスすることはありません。

ただし、robots.txt ファイルを使用する主な理由は 3 つあります。

非公開ページの閲覧を許可しないでください。場合によっては、サイト上で特定のページをインデックスに登録したくない場合があります。たとえば、特定のページやログイン ページのステージング バージョンがある場合があります。これらのページが存在することが不可欠であり、ランダムなユーザーがそれらのページに誘導されるべきではありません。したがって、robots.txt を使用して、クローラーやボットがこれらのページにアクセスするのをブロックする必要があります。

クロールの予算を最大限に活用します。ページのインデックス作成に問題がある場合は、クロール バジェットに問題がある可能性があります。robots.txt を使用して重要でないページをブロックすると、Googlebot は実際には重要なウェブページにより多くの時間を費やすことになります。

リソースにはインデックスを付けないでください。メタ ディレクティブを使用すると、Robot.txt ファイルを使用するのと同じくらい効率的にページのインデックスが作成されないようにすることができます。ただし、メタ ディレクティブは、PDF や画像などのマルチメディア リソースではうまく機能しません。この場合、robots.txt が役に立ちます。

検索エンジン ボットがファイルを検査するとき、最初に robots.txt ファイルを探します。このファイルが見つからない場合、サイトのすべてのページがインデックスに登録されない可能性が高くなります。さらにページを追加する場合は、メイン ページを禁止リストに追加することで、いくつかの手順を実行して Robot.txt ファイルを変更できます。ただし、メイン ページをファイルの先頭の禁止リストに追加することは避けてください。

Google の Web サイトをクロールするための予算があります。この予算はクロール制限によって決まります。原則として、クローラーは次の Web サイトに移動する前に、ある Web サイトに一定の時間を費やしますが、サイトのクロールがユーザーの邪魔をしていると Google が判断した場合、サイトのクロールが遅くなります。Google によるウェブサイトのスパイダーリングが遅いため、一度にサイトの数ページしかインデックスされないため、最新の投稿が完全にインデックスされるまでに時間がかかります。この問題を解決するには、サイトにサイトマップと robots.txt ファイルが必要です。クロールのプロセスを高速化するために特別な注意が必要なサイトのリンクにユーザーを誘導することで、クロールのプロセスが高速化されます。

Web サイトのクロール速度に加えて、各ボットには独自の固有のクロール見積もりがあります。そのため、WordPress Web サイトにはロボット ファイルが必要です。これは、インデックス作成に必要のないページが大量に含まれているためです。さらに、robots.txt ファイルを含めないことを選択した場合でも、クローラーは Web サイトのインデックスを作成しますが、非常に大規模なブログで多数のページが含まれていない限り、その必要はありません。

Robot.txt ファイル内のディレクティブの目的:

マニュアル ファイルを作成するときは、ファイルの形式を理解しておくことが不可欠です。さらに、その仕組みを学んだ後は、それを変更することもできます。

クロール時間の遅延: このディレクティブを設定すると、リクエストが多すぎるとサーバーが過負荷になり、最適なユーザー エクスペリエンスが得られないため、クローラーがサーバーに過負荷をかけることはありません。検索エンジンのボットが異なれば、Crawl-Delay ディレクティブに対する反応も異なります。たとえば、Bing、Google、Yandex はすべて異なる応答をします。

許可: このディレクティブを使用すると、次の URL のインデックス作成が許可されます。リストに追加できる URL の数に関係なく、電子商取引 Web サイトを運営している場合は、追加する URL が多数になる可能性があります。robots ファイルを使用する場合は、インデックスを作成したくないページにのみ使用してください。

禁止: Robots ファイルの最も重要な機能の 1 つは、クローラーがファイル内のリンクやディレクトリなどにアクセスできないようにすることです。ただし、他のボットもこれらのディレクトリにアクセスできるため、準拠していないためマルウェアをチェックする必要があります。

サイトマップと Robot.txt ファイルの違い

サイトマップには検索エンジンにとって貴重な情報が含まれており、すべての Web サイトにとって不可欠です。サイトマップは、Web サイトが更新されたときと、Web サイトが提供するコンテンツの種類をボットに通知します。このページの目的は、サイトに含まれるクロールする必要があるすべてのページを検索エンジンに通知することですが、robots.txt ファイルの目的はクローラーに通知することです。クローラーは、どのページをクロールするか、どのページを Robot.txt の使用を避けるべきかを通知されます。Web サイトのインデックスを作成するにはサイトマップが必要ですが、robot.txt は必要ありません。