Robots.txt 验证器

如何使用 ETTVI 的 Robots.txt 验证器？

按照以下简单步骤，使用 ETTVI 的高级工具测试网站的 robots.txt 文件：

第 1 步 - 输入网址

写一个网站的 URL，如下所示：

注意：不要忘记在斜杠后面添加“robots.txt”。

第 2 步 - 选择用户代理

指定您要检查 robots.txt 文件的爬网程序

您可以选择以下任意用户代理：

• 谷歌机器人
• 谷歌机器人新闻
• 站长
• 广告机器人
• 冰机器人
• MSNBot-媒体
• 雅虎！
• 鸭鸭Go
• 百度
• 扬德克斯
• Facebook
• Twitter机器人
• 博蒂菲

第 3 步 - 验证 Robots.txt 文件

当您单击“检查”时，ETVI 的免费 Robots.txt 验证程序将运行以识别和检查给定网站的机器人元指令。它突出显示所选机器人可以或不能抓取的 URL。

当您单击“检查”时，ETVI 的免费 Robots.txt 验证程序将运行以识别和检查给定网站的机器人元指令。它突出显示所选机器人可以或不能抓取的 URL。

user-agent: * 表示允许/禁止所有搜索引擎爬虫抓取网站

允许：表示该 URL 可以被相应的搜索引擎爬虫抓取

Disallow: 指示Disallow:es 表示某个URL 不能被相应的搜索引擎爬虫抓取

什么是 Robots.txt 文件？

Robots.txt文件允许或禁止爬虫访问和爬行网页。将 Robots.txt 文件视为搜索引擎爬虫的说明手册。它提供了一组说明来指定网站的哪些部分可以访问，哪些部分不可访问。

更清楚地说，robots.txt 文件使网站管理员能够控制爬虫 - 访问什么以及如何访问。要知道，爬虫不会直接登陆网站结构，而是通过访问各个网站的robots.txt文件来了解哪些URL是允许爬行的，哪些URL是不允许爬行的。

Robots.txt 文件的用途

A机器人.txt 文件帮助网站管理员使网页、媒体文件和资源文件远离所有搜索引擎爬虫。简而言之，它用于将 URL 或图像、视频、音频、脚本和样式文件保留在 SERP 之外。

大多数 SEO 倾向于利用 Robots.txt 文件作为阻止网页出现在搜索引擎结果中的方法。但是，它不应该用于此目的，因为还有其他方法可以做到这一点，例如应用元机器人指令和密码加密。

请记住，Robots.txt 文件只能用于防止爬网程序通过爬网请求使网站过载。此外，如果需要，则可以使用 Robots.txt 文件通过阻止不重要或未开发的网页来节省爬网预算。

使用 Robots.txt 文件的好处

Robots.txt 文件对于您的网站 SEO 来说既可能是一张王牌，也可能是一个危险。除了您无意中禁止搜索引擎机器人抓取整个网站的危险可能性之外，Robots.txt 文件总是派上用场。

使用 Robots.txt 文件，网站管理员可以：

• 指定站点地图的位置
• 禁止抓取重复内容
• 防止某些 URL 和文件出现在 SERP 中
• 设置抓取延迟
• 节省抓取预算

所有这些做法都被认为最适合网站 SEO，只有 Robots.txt 可以帮助您申请

使用 Robots.txt 文件的限制

所有站长都必须知道，在某些情况下，机器人排除标准可能无法阻止网页的抓取。Robots.txt 文件的使用有一定的限制，例如：

• 并非所有搜索引擎爬虫都遵循 robots.txt 指令
• 每个爬虫都有自己理解 robots.txt 语法的方式
• Googlebot 有可能抓取不允许的网址

可以采取某些 SEO 做法，以确保所有搜索引擎爬虫都无法看到被阻止的 URL。

创建 Robots.txt 文件

查看这些示例格式，了解如何创建和修改 Robots.txt 文件：

User-agent: * Disallow: / 表示禁止每个搜索引擎爬虫抓取所有网页

User-agent: * Disallow: 表示允许每个搜索引擎爬虫抓取整个网站

User-agent: Googlebot Disallow: / 表示仅禁止Google抓取工具抓取网站上的所有页面

User-agent: * Disallow: /subfolder/ 表示搜索引擎爬虫无法访问该特定子文件夹或类别的任何网页

您可以用相同的方式创建和修改 Robots.txt 文件。只需注意语法并根据规定的规则格式化 Robots.txt 即可。

Robots.txt 语法

Robots.txt 语法是指我们用来格式化和构建 robots.txt 文件的语言。让我们为您提供有关构成 Robots.txt 语法的基本术语的信息。

用户代理是搜索引擎爬网程序，您可以向其提供爬网指令，包括应该爬网和不应该爬网的 URL。

Disallow 是一个 robots 元指令，指示用户代理不要抓取相应的 URL

允许是仅适用于 Googlebot 的 robots 元指令。它指示 Google 抓取工具可以访问、抓取网页或子文件夹，然后为其编制索引。

抓取延迟确定抓取程序在抓取网页内容之前应等待的时间段（以秒为单位）。根据记录，Google 抓取工具不遵循此命令。无论如何，如果需要，您可以通过 Google Search Console 设置抓取速度。

站点地图指定给定网站的 XML 站点地图的位置。只有 Google、Ask、Bing 和 Yahoo 承认此命令。

包括 * 、 / 和 $ 在内的特殊字符使爬虫更容易理解指令。顾名思义，这些字符中的每一个都有特殊的含义：

* 表示允许/禁止所有爬虫抓取相应网站。/ 表示允许/禁止指令适用于所有网页

Robots.txt 要闻速览

• ➔ 子域的Robots.txt文件是单独创建的
• ➔ Robots.txt 文件的名称必须以小写字母保存为“robots.txt”，因为它区分大小写。
• ➔ Robots.txt文件必须放置在网站的顶级目录下
• ➔ 并非所有爬虫（用户代理）都支持 robots.txt 文件
• ➔ Google 抓取工具可以从链接的网站中找到被阻止的 URL
• ➔ 每个网站的 Robots.txt 文件都是可公开访问的，这意味着任何人都可以访问它

专家提示 ：如果紧急需要，请使用其他 URL 阻止方法（例如密码加密和 robots 元标记）而不是 robots.txt 文件来阻止抓取某些网页。