标签:robots

小红书屏蔽了所有搜索引擎,蜘蛛遵守robots协议?

笔者之前没有留意到小红书屏蔽了搜索引擎,前个月才发现,我们先看下小红书的 robots.txt 文件,明确指定要屏蔽 Google、百n度、Bing(必应)、搜狗、一搜、...

YisouSpider,完全不遵受 Robots 协议的中国特色癌症蜘蛛!

话说,当年是周鸿祎做雅虎时搞的 yisou。其实 yisou 做的真不错,甚至 2005 年有一段时间比百度都好用,加上 3721 网络实名,确实有极大的上升势头。可是雅虎...