如何为SEO优化你的WordPress Robots.txt

您可以使用多行说明来允许或榨取特定URL并添加多个站点舆图。若是您不榨取URL，则搜索引擎机械人会假定他们可以抓取它。

以下是robots.txt示例文件的外观：

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/

Sitemap: 链接

在上面的robots.txt示例中，我们允许搜索引擎在我们的WordPress上传文件夹中抓取和索引文件。

之后，我们榨取搜索机械人抓取插件和索引插件以及WordPress治理员文件夹。

最后，我们提供了XML站点舆图的URL。

你需要一个针对你的WordPress网站的Robots.txt文件吗？

若是您没有robots.txt文件，那么搜索引擎仍会抓取您的网站并将其编入索引。可是，您将无法告诉搜索引擎他们不应抓取哪些页面或文件夹。

当您第一次建设博客而且没有大量内容时，这不会发生太大影响。

可是，随着您的网站一直增添而且您拥有大量内容，您可能希望更好地控制网站的抓取和索引方式。

这就是缘故原由。

搜索机械人每个网站都有一个抓取配额。

这意味着他们在爬网会话时代抓取一定数目的页面。若是他们没有完成对您网站上的所有网页的抓取，那么他们将返回并在下一个会话中继续抓取。

这可能会降低您的网站索引速率。

您可以通过榨取搜索机械人实验抓取不须要的页面（如WordPress治理页面，插件文件和主题文件夹）来解决此问题。

通过榨取不须要的页面，您可以生涯爬网配额。这有助于搜索引擎抓取您网站上的更多网页，并尽快为其体例索引。

使用robots.txt文件的另一个好理由是，您希望阻止搜索引擎索引您网站上的帖子或页面。

隐藏民众内容并不是最清静的方式，但它可以资助您防止它们泛起在搜索效果中。

什么是理想的Robots.txt文件应该是什么样的？

许多盛行的博客使用很是简朴的robots.txt文件。它们的内容可能会有所差异，详细取决于特定网站的需求：

User-agent: *
Disallow:

Sitemap: 链接
Sitemap: 链接

此robots.txt文件允许所有机械人索引所有内容，并为其提供指向网站的XML站点舆图的链接。

对于WordPress网站，我们建议在robots.txt文件中使用以下规则：

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/

Sitemap: 链接
Sitemap: 链接

这告诉搜索机械人索引所有WordPress图像和文件。它不允许搜索机械人索引WordPress插件文件，WordPress治理区域，WordPress自述文件和同盟链接。

通过将站点舆图添加到robots.txt文件，您可以轻松地让Google机械人找到您网站上的所有网页。

现在你已经相识了一个理想的robots.txt文件，让我们来看看你怎样在WordPress中建设一个robots.txt文件。