网站SEO优化中的meta robots，robots.txt的作用

网站SEO优化中的meta robots，robots.txt的作用

什么是meta robot/robot.txt

这篇文章我们会告诉你如何使用meta robots以及robots.txt优化百度等搜索引擎索引。

meta robots以及robots.txt工作是阻止百度等搜索引擎搜索并索引您的页面。时下SEO优化排名以及高流量是没有特别大的用处。流量必须对企业有价值，能够创造转换。因此，用户体验相对重要。如果你有一个特定的页面它可能会产生不好的用户体验（UX），通过这些方式，您可以防止该页面出现在百度等搜索引擎搜索结果中。

meta robots vs robots.txt

robots.txt如果你使用它，可以阻止搜索引擎索引你的信息robots.txt为了阻挡搜索引擎，搜索引擎会跳过你阻挡的页面，而不是搜索。

但meta robots不同的是，他阻止搜索引擎在索引层表面索引你的页面，但百度等搜索引擎仍然有你的网站信息，但我们为什么要这样做呢？文章稍后会说出来的。

基本上，大多数情况下我们不会使用robots.txt为了防止搜索引擎索引我们的网站，除非你确定这个页面对搜索引擎优化有负面影响，如果你有一个页面不想出现在搜索引擎中，我建议使用它meta robots只需控制索引。网站的数据仍然是一样的。让百度等搜索引擎搜索。但是如果你确定这些页面会影响搜索引擎优化，而且你不想搜索百度等搜索引擎，你必须使用它们Robots.txt。(例如，在开发中，但尚未完成的网页)

使用robots.txt档案很简单，你只需要建立一个叫做robots的档案txt档案，并上传到根目录，并且在这个档案中写下你希望百度等搜索引擎不要抓取的页面路径。

你会看到的www.0574web.net下面的根目录我上传了这个档案，我不想让搜索引擎抓住我的后台登录页面，所以会有disallow: /wp-admin/这些内容

基本上在robots.txt你只需要在档案中填写这些资料：

User-agent：填写搜索引擎蜘蛛的值（*号码代表全部)

Disallow：填写您希望搜索引擎不索引的页面路径

Allow：如果您希望搜索引擎索引，请填写禁止索引的页面路径

学习使用meta robots

要用meta robots只要您直接将其添加到head下，您必须将此标签添加到head中，即“您不想被索引的页面下”。

所以如果你有六个页面不想被索引？是的，你必须手动添加这六页meta robots。

meta robots标签是这样长的:

基本上这个标签有两个值:noindex和nofollow:

index vs noindex

当你不想搜索引擎索引这个页面时，填写它noindex，如果你想填写正常的索引，请填写它index

follow vs nofollow

至于fofollow，这个值意味着，如果你想让搜索引擎在搜索这个页面时不进一步搜索连接到页面的连接，你将填写nofolow的值。这个功能通常用于社区论坛或网站讨论版，以防止有人在你的页面上粘贴连接，以增加他的SEO优化反链和排名。如果使用nofollow，搜索引擎的搜索将在页面上停止，并且不会继续向其他连接前进。固体可以防止粘贴连接的发生。

这两个值的功能完全不同。让我举几个例子，让你知道如何使用它们。

1.

这种做法是告诉搜索引擎，不要索引我的网站，也不要在搜索数据时搜索相关链接。

2.

索引资料时，不要索引相关链接。

3.

不要索引我的页面，但请正常索引页面上的所有链接(最常用的使用方法)

4.

这种做法毫无意义。此外，此标签与未添加标签相同，这意味着搜索引擎将正常索引。

做SEO优化，何时会用robots.txt阻止百度等搜索引擎索引？

对于索引（Crawl）在优化工作中，你的网站百度一定要理解，数据也要掌握。有些动态的网络结构对于网络路爬的索引来说是有问题的，这个我在上一篇文章中提到过，毕竟最遗憾的是你的网站有优质的内容，但是百度等搜索引擎根本找不到数据…。百度搜索引擎蜘蛛基本上是网络上效率最好的，但相对来说就像神马，Bing，360，它们的效率可能没有百度搜索引擎那么好，所以我们要随时关注百度搜索引擎的索引。

但是，你不希望百度等搜索引擎索引到一些页面和内容，此时你必须使用它们Robots.txt为了阻止百度等搜索引擎蜘蛛的搜索，这也是我们今天文章讨论的重点。让我们来看看百度等搜索引擎蜘蛛不会索引你的网站。

未完成的页面

如果你有一个由技术人员开发的页面，但页面需要很长时间才能完成，甚至需要修改和测试，未完成的页面通常不会受到损害SEO优化，但您不希望访问者在搜索引擎中搜索未完成的页面，因为未完成的页面会给用户更差的使用体验。

测试頁面

我曾经碰过工程师，为了做功能测试，打开了测试用子网域，并上传了与主网域完全相同的内容来理解百度等搜索引擎Panda：本文提到了网站内容对SEO的影响。完全相同的网站内容会对SEO优化造成损害。如果有这样的页面，我建议你把百度等搜索引擎蜘蛛挡在门外。

网站背景，其他原因

就我而言，我的网站是用WordPress架设的，所以我用了robots.txt防止搜索引擎搜索我的网站后台。搜索引擎搜索到后台的登录页面对SEO没有损害，但一点帮助都没有。同时，如果你不想搜索引擎搜索你的网站，我也建议你使用它robots.txt阻止搜索引擎的索引。

www.0574web.net 宁波海美seo网络优化公司 是网页设计制作，网站优化，企业关键词排名，网络营销知识和开发爱好者的一站式目的地，提供丰富的信息、资源和工具来帮助用户创建令人惊叹的实用网站。 该平台致力于提供实用、相关和最新的内容，这使其成为初学者和经验丰富的专业人士的宝贵资源。