小红书屏蔽了所有搜索引擎,蜘蛛遵守robots协议?

文章1个月前发布
19 0

笔者之前没有留意到小红书屏蔽了搜索引擎,前个月才发现,我们先看下小红书的 robots.txt 文件,明确指定要屏蔽 Google、百n度、Bing(必应)、搜狗、一搜、百度商务搜索等蜘蛛,其它未指定的蜘蛛也全部屏蔽。

User-agent:Googlebot
Disallow:/

User-agent:Baiduspider
Disallow:/

User-agent:bingbot
Disallow:/

User-agent:Sogou web spider
Disallow:/

User-agent:Sogou wap spider
Disallow:/

User-agent:YisouSpider
Disallow:/

User-agent:BaiduSpider-ads
Disallow:/

User-agent:*
Disallow:/

你想屏蔽就屏蔽了?测试国内搜索引擎基本都不遵守 robots 协议,也可以说蜘蛛反应迟钝,反应迟钝为啥删帖就很快?我们搜索:soite:www.xiaohongshu.com
小红书屏蔽了所有搜索引擎,蜘蛛遵守robots协议?

百度收录7.98亿,要接近8亿了。

小红书屏蔽了所有搜索引擎,蜘蛛遵守robots协议?

搜狗收录6.5亿,评级1也是奇怪,这个评级玩一点参考意义都没有。

小红书屏蔽了所有搜索引擎,蜘蛛遵守robots协议? 小红书屏蔽了所有搜索引擎,蜘蛛遵守robots协议?

360搜索收录比较少,45.6万,第二天再查询发现收录还增加了两千。

小红书屏蔽了所有搜索引擎,蜘蛛遵守robots协议?

头条搜索是唯一展示了受 robonts 协议限制的说明,也是国内唯一遵守 robots 协议的搜索引擎,只显示网站标题。

再截图下小红书的 robots.txt 文件,

小红书屏蔽了所有搜索引擎,蜘蛛遵守robots协议?

排第一的 Google 完全遵守 robots 协议,site小红书网站,无收录页面,除了域名,其它包括站名、logo等均不显下示。

小红书屏蔽了所有搜索引擎,蜘蛛遵守robots协议?

微软的 Bing 也有20万的收录,有站名和logo,但没有描述。

小红书屏蔽了所有搜索引擎,蜘蛛遵守robots协议?

现在4号又减少到了17万,在清除收录吧。

小红书屏蔽了所有搜索引擎,蜘蛛遵守robots协议?

以前在e百度搜索淘宝时,会提示 robots 禁止,现在早已没有这样显示了。

小红书屏蔽了所有搜索引擎,蜘蛛遵守robots协议?

要真正屏蔽就得把蜘蛛的 IP 给封禁掉,或者人工干预。

闹。着玩下网在上个月似乎被K站了,同时自己也主动禁止了百度蜘蛛抓取,现在过了一个月,有时site会有,反而有收录了?

国内的互联网环境都网在不断封闭,搞私域流量。在你成长起来之前,你得依托平台,哪一天发展壮大了,你自己就成了平台,直接对接终端粉丝,最后好多呢也是加微信,腾x讯呢笑而不语。

文章转载自https://www.nzonex.com/xiaohongshu-robots.html

© 版权声明

暂无评论

本文暂时没有评论,来添加一个吧(●'◡'●)