1. wordpress建站教程首页
  2. WordPress
  3. WordPress建站教程

网站优化:如何针对SEO优化WordPress网站的 Robots.txt 文件-WordPress安装教程

最近,我们的一位读者向我们询问了有关如何优化robots.txt文件以改进SEO的提示。Robots.txt文件告诉搜索引擎如何抓取您的网站,这使其成为一个非常强大的SEO工具。在本文中,我们将向您展示如何为SEO创建完美的robots.txt文件。 什么是robots.txt文件? Robots.txt是一 WP网站建设

最近,我们的一位读者向我们询问了有关如何优化robots.txt文件以改进SEO的提示。Robots.txt文件告诉搜索引擎如何抓取您的网站,这使其成为一个非常强大的SEO工具。在本文中,我们将向您展示如何为SEO创建完美的robots.txt文件。

WordPress网站建设

什么是robots.txt文件?

Robots.txt是一个文本文件,网站所有者可以创建该文件来告诉搜索引擎机器人如何在其网站上抓取和索引页面。

它通常存储在根目录中,也称为您网站的主文件夹。robots.txt文件的基本格式如下所示:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]

 

您可以使用多行说明来允许或禁止特定URL并添加多个站点地图。如果您不禁止URL,则搜索引擎机器人会假定他们可以抓取它。

以下是robots.txt示例文件的外观:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml

 

在上面的robots.txt示例中,我们允许搜索引擎在我们的WordPress上传文件夹中抓取和索引文件。

之后,我们禁止搜索机器人抓取插件和索引插件以及WordPress管理员文件夹。

最后,我们提供了XML站点地图的URL。

你需要一个针对你的WordPress网站的Robots.txt文件吗?

如果您没有robots.txt文件,那么搜索引擎仍会抓取您的网站并将其编入索引。但是,您将无法告诉搜索引擎他们不应抓取哪些页面或文件夹。

当您第一次创建博客并且没有大量内容时,这不会产生太大影响。

但是,随着您的网站不断增长并且您拥有大量内容,您可能希望更好地控制网站的抓取和编制方式。

这就是原因。

搜索机器人每个网站都有一个抓取配额。

这意味着他们在爬网会话期间抓取一定数量的页面。如果他们没有完成对您网站上的所有网页的抓取,那么他们将返回并在下一个会话中继续抓取。

这可能会降低您的网站索引速度。

您可以通过禁止搜索机器人尝试抓取不必要的页面(如WordPress管理页面,插件文件和主题文件夹)来解决此问题。

通过禁止不必要的页面,您可以保存爬网配额。这有助于搜索引擎抓取您网站上的更多网页,并尽快为其编制索引。

使用robots.txt文件的另一个好理由是,您希望阻止搜索引擎索引您网站上的帖子或页面。

这不是向公众隐藏内容的最安全方式,但它可以帮助您防止它们出现在搜索结果中。

什么是理想的Robots.txt文件应该是什么样的?

许多流行的博客使用非常简单的robots.txt文件。它们的内容可能会有所不同,具体取决于特定网站的需求:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml

此robots.txt文件允许所有机器人索引所有内容,并为其提供指向网站的XML站点地图的链接。

对于WordPress网站,我们建议在robots.txt文件中使用以下规则:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

 

 

这告诉搜索机器人索引所有WordPress图像和文件。它不允许搜索机器人索引WordPress插件文件,WordPress管理区域,WordPress自述文件和联盟链接。

通过将站点地图添加到robots.txt文件,您可以轻松地让Google机器人找到您网站上的所有网页。

既然你知道了一个理想的robots.txt文件是什么样子,那么让我们来看看你如何在WordPress中创建一个robots.txt文件。

如何在WordPress中创建Robots.txt文件?

有两种方法可以在WordPress中创建robots.txt文件。您可以选择最适合您的方法。

方法1:使用Yoast SEO编辑Robots.txt文件

如果你使用的是Yoast SEO插件,那么它附带了一个robots.txt文件生成器。

您可以使用它直接从WordPress管理区域创建和编辑robots.txt文件。

只需转到WordPress管理员中的SEO»工具页面,然后单击文件编辑器链接。

网站优化:如何针对SEO优化WordPress网站的 Robots.txt 文件-WordPress安装教程

在下一页,Yoast SEO页面将显示您现有的robots.txt文件。

如果您没有robots.txt文件,那么Yoast SEO将为您生成robots.txt文件。

网站优化:如何针对SEO优化WordPress网站的 Robots.txt 文件-WordPress安装教程

默认情况下,Yoast SEO的robots.txt文件生成器会将以下规则添加到您的robots.txt文件中:

User-agent: *
Disallow: /

这是重要的,你抓取你的网站,因为它会阻止所有的搜索引擎中删除该文本。

删除默认文本后,您可以继续添加自己的robots.txt规则。我们建议使用上面分享的理想robots.txt格式。

完成后,请不要忘记点击“保存robots.txt文件”按钮来存储您的更改。

方法2.使用FTP手动编辑Robots.txt文件

对于此方法,您将需要使用FTP客户端 来编辑robots.txt文件。

只需使用FTP客户端连接到您的WordPress主机帐户即可。

进入后,您将能够在网站的根文件夹中看到robots.txt文件。

网站优化:如何针对SEO优化WordPress网站的 Robots.txt 文件-WordPress安装教程

如果您没有看到,那么您可能没有robots.txt文件。在这种情况下,您可以继续创建一个。

网站优化:如何针对SEO优化WordPress网站的 Robots.txt 文件-WordPress安装教程

Robots.txt是一个纯文本文件,这意味着您可以将其下载到您的计算机并使用任何纯文本编辑器(如Notepad或TextEdit)进行编辑。

保存更改后,您可以将其上传回网站的根文件夹。

如何测试你的Robots.txt文件?

创建robots.txt文件后,最好使用robots.txt测试工具对其进行测试。

有很多robots.txt测试工具,但我们建议使用Google Search Console中的工具。

只需登录您的Google Search Console帐户,然后切换到旧的Google搜索控制台网站即可。

网站优化:如何针对SEO优化WordPress网站的 Robots.txt 文件-WordPress安装教程

这会将您带到旧的Google Search Console界面。在这里,您需要启动位于“抓取”菜单下的robots.txt测试工具。

网站优化:如何针对SEO优化WordPress网站的 Robots.txt 文件-WordPress安装教程

该工具将自动获取您网站的robots.txt文件,并在发现错误和警告时突出显示错误和警告。

最后的想法

优化robots.txt文件的目的是阻止搜索引擎抓取不公开的网页。例如,wp-plugins文件夹中的页面或WordPress管理文件夹中的页面。

SEO专家的一个常见神话是,阻止WordPress类别,标签和存档页面将提高抓取速度并导致更快的索引和更高的排名。

这不是真的。这也违反了Google的网站管理员指南。

我们建议您按照上述robots.txt格式为您的网站创建robots.txt文件。

原创文章,作者:网站建设,如若转载,请注明出处:http://jc.51jztj.com/archives/130578

服务项目 服务内容 收费标准(元)
开发定制 WordPress主题/插件开发定制 (以最终需求为准)
主题/插件汉化 汉化团队WordPress主题/插件,翻译率95% (以标的主题/插件的句子数量为准)
服务器环境配置 基于您现有服务器,搭建配置网站运行环境,结合我们多年来实战经验,可完美支持WordPress等PHP程序运行,并配置伪静态规则、优化目录权限等问题。服务器我们强烈推荐使用Linux系统。 100元/次
网站托管 若贵站目前尚无技术人员,无法完成服务器环境配置,可选择我们的网站托管服务,直接交付正常运行的WordPress站点,并且无需担心服务器的后续维护工作,一切都由我们来帮您完成。 标配套餐:1000元/年/站点 高配套餐:联系客服获取
网站加速优化 从服务器后端配置优化到WordPress数据库缓存、前端页面缓存、JS和CSS压缩合并,全方位优化网站加载速度,实现秒开。(此服务仅针对(云)服务器/VPS) 500元/次(仅站内优化200元/次)
主题配置 本站所有主题均支持,可快速实现,若有任何问题可以咨询客服解决,若您希望我们提供配置服务,可选购此服务。 英文主题安装 60元/次 汉化主题安装 30元/次
HTTPS配置 HTTPS已经不断普及,并且有着更高的安全性以及SEO上的优待。该服务收取的为服务费,SSL证书产生的费用请自行承担。 100元/次
网站搬家 迁移网站所有文件和数据库信息、网站相关配置的调整、以及迁移中的疑难问题故障排除。 标准收费:500元/次 若网站数据量大,需协商
网站运维 提供整站的运维服务,保证网站正常运行。包含:网站故障定位及排除、网站数据备份和恢复、网站攻击及木马等问题的处理等 标准收费:2000元/年 IP 5000以上需协商

发表评论

邮箱地址不会被公开。 必填项已用*标注