用noindex,nofollow严禁爬虫收录特定网页

用noindex nofollow禁止百度爬虫收录特定网页

我们不希望网站的一些页面展现很多。有些页面是不必要被百度收录的,也不需要出现在搜索结果中供用户看到。此时,我们可以使用它noindex或nofollow严禁搜索引擎检索语法。
为什么严禁检索网页?
网页中的一些功能不需要被搜索,也不需要被爬虫抓住来寻找结果页面,如未完成的网站、后台管理页面、购物车、会员信息、版权声明、登录或用户留下的信息…没有必要让用户通过搜索等待关键页面,所以我们会使用它noindex,nofollow严禁用这种语法检索爬虫。
严禁爬虫检索和检索应用语法,其目的不仅是让用户看不到这些图片,还告诉爬虫不要检索,不要影响SEO优化评分,因为这些页面对用户和网站没有成正比,也没有帮助寻找目的。如果爬虫搜索这些内容,网站的权重就会降低。
用noindex严禁搜索网页

Noindex是html meta当爬虫看到元素上的值时noindex不会搜索网页,包含在结果页面中。
简单来说就是告诉爬虫,一个网站有这个东西,但是没有必要把它作为搜索结果发给用户查看更多,因为它对寻找意图和目的没有帮助。比如购物车和结账图片,会员登录和材料,隐私政策,版权声明…等。
想象一下,每个人都通过百度搜索引擎搜索「伴手礼」,点击结果后,场景不是产品,而是其他图片或会员登录。你不觉得无缘无故吗?当然,大多数用户肯定也这么认为。

nofollow禁止百度爬虫收录特定网页

避免大多数搜索引擎编入索引:
<meta name="robots"content="noindex>
避免将特定的搜索引擎编入索引(例如)百度):
<meta name="baidu bot"content="noindex">
这个命令需要一些,单页设置,比如网站有5个地方不需要检索,需要设置5次,5页。详情请参考百度搜索中心:中继标识
有些人可能会发现它不能使用robots.txt告诉爬虫什么页面不需要检索吗?这两个功能还是有些不同的。
Noindex与robots.txt
noindex
在网站的某些页面上,爬虫可以被告知「这个页面」不要检索和检索。
robots.txt
在网站的根目录中,告诉爬虫不要检索这个「整个」网站,比如网站管理后台,特定资料内的档案和测试网站。
不过,由于robots.txt不是强制命令,也不是所有搜索引擎都会遵循,所以应用程序robots.txt严禁爬虫爬网站内容,仍有可能未经检索,不小心将网站编入索引。
延伸阅读:
robots.txt用途是什么?爬虫听话的秘密是什么?
用nofollow无关连结的声明网站
Nofollow也是html meta元素上的一个值,用来告诉搜索模块不要跟踪特定的网站连结,也就是爬虫看到nofollow网站上的任何内链都不会跟踪。
这通常用于网站上的评论和评论区,或者用户可以自由发布评论类网站,如论坛、社区媒体或留言板…等。
有了这个类别的网站,很容易吸引很多垃圾评论,广告及其站无关。当一个网站充斥着这种不必要的链接时,很容易降低网站的排名和质量,所以我们可以使用它nofollow告诉爬虫这些联系和我们没关系。
避免搜索引擎检索:
<metaname="robots"content="nofollow">
不过百度现已将nofollow请将用户自制内容(评论或论坛)的链接标识改为爬虫的参考标准,而不是关键指标。ugc,语法体现如下:「rel="ugc"」。详情请查看:表示链接限制
网页上的隐私内容
为了改善网站的一些页面的隐私,不仅要结合语法限制使用,还要适度增加验证系统。例如,设置会员账户、添加验证系统、选择可锁工具或添加功能来阻止,这些都是改善隐私的方法。

www.0574web.net 宁波海美seo网络优化公司 是网页设计制作,网站优化,企业关键词排名,网络营销知识和开发爱好者的一站式目的地,提供丰富的信息、资源和工具来帮助用户创建令人惊叹的实用网站。 该平台致力于提供实用、相关和最新的内容,这使其成为初学者和经验丰富的专业人士的宝贵资源。

点赞(22) 打赏

声明本文内容来自网络,若涉及侵权,请联系我们删除! 投稿需知:请以word形式发送至邮箱18067275213@163.com

评论列表 共有 8 条评论

网站研究社区 10月前 回复TA

关于西藏,我作为一个在广东打工的人,当我亲身体验,而且看过不记其数的事,我们万分警惕,但是90%的人还是在血汗工厂和黑心老板的陷阱里挣扎。从这个角度说西藏,我就能够明白国外为什么支持西藏独立了:很简单,一对夫妇,无论他们多么合法,结合多久,如果丈夫是个恶棍,大家都会支持妻子离婚的,你会不会支持妻子?站长,用你的良心回答?

霏凡 1年前 回复TA

国内抄袭现象确实很严重,因为抄袭成本低吖,又没有有效的法律约束

嘴嘴 1年前 回复TA

“链接点击率用户点击链接后在你的网站停留多长时间 ”严重支持站长的观点,本人就曾经观察到过。一篇技术文章,没刻意整啥。就是因为文章长,只是文章对浏览者有意义。每次来的IP停留时间都挺长的。结果造成此关键词直接从第三页到第一位。并且相关关键词从十几页直接到首页第十位。嘿~效果特别明显(注是在百度)“所以流量对于排名中应该没有太大关系。”这位朋友回去好好观察吧!无论是动态IP或者页面停留时间,都能有助排名的提升!看你会不会用而已!!!

随缘 1年前 回复TA

老大你真早,学习下。

ug产品设计 1年前 回复TA

来关注一下。逍遥博客

产品经理 1年前 回复TA

来学习了,把我的联邦进货网也做成树状结构

第一圈 1年前 回复TA

老大又要出书了?twitter我也刚刚迷上,翻墙的感觉真好。

229890348 1年前 回复TA

服务器位置应该有关系,刚好最近碰巧更换了服务器,放到了china 流量一下飞升。

微信小程序

微信扫一扫体验

立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部