YisouSpider,完全不遵受 Robots 协议的中国特色癌症蜘蛛!

文章3周前更新
7,146 0

话说,当年是周鸿祎做雅虎时搞的 yisou。其实 yisou 做的真不错,甚至 2005 年有一段时间比百度都好用,加上 3721 网络实名,确实有极大的上升势头。可是雅虎的官僚主义加阿里的商业文明,掐死了周鸿祎的雅虎中国 CEO 的权力,老周一怒之下离职做了 360 专门杀老东家旗下雅虎的网络实名业务,弄到后来托管雅虎中国的阿里大佬只好彻底关闭了当年从周手上收购来的 3721 系列业务,包括一搜!YisouSpider,完全不遵受 Robots 协议的中国特色癌症蜘蛛!

为什么要提 2005 年前后这一段网络江湖往事?因为现在 YiSouSpider 就只是一个没有实际地位和存在感的蜘蛛,一会儿 Etao 用来进行拉网式竞业搜索,一会儿淘宝自己用来监控“出淘”的电商独立网站,总之就是一个失去灵魂人物的末路杀手。阿里旗下大哥小弟们给点啥指令,它就非常听话的出去扫荡。

有人说现在一搜蜘蛛神马搜索的。我试过,神马搜索那个挂广东 ICP 证的官网,留的搜索蜘蛛反馈邮箱根本就无法使用。反馈邮箱不予维护就是最低成本的维护,嘿嘿!阿里系旗下就这德行,完全不遵守 robots 协议,“不用遵守业界规则”就是阿里某些部门的默认规则。

阿里云的网络防火墙 WAF 是防不住 YisouSpider。发了工单工程师一直在推诿。原来是他妈一家的!史上最无耻的搜索引擎——YiSouSpider,被马云收购后倒闭了,现在搞个神马,抓取没有尺度,大部分中小网站都承受不了他的抓取频率。马云是史上第一个不遵循 robots 协议,并且标榜自己是对的人。当年京东用 rotots 协议限制 马云的搜索,马云照样抓取,还大放阙词说 rotots 协议又不是法律,没有必要遵守。还让一大众媒体污蔑京东,说京东想卖高价,所以不让他抓取。YisouSpider,完全不遵受 Robots 协议的中国特色癌症蜘蛛!

好了,不说了,就这个 YiSouSpider 爬虫对于大多数国内站来说,每次爬就跟一次小型的 DDOS 一样,至于流量,反正这几年明月是没有看到带来几个流量的,永远看到的都是不断爬取。所以,不考虑了,直接屏蔽掉,有 CloudFlare 就这点儿好,一切都在掌握中……!

© 版权声明

暂无评论

本文暂时没有评论,来添加一个吧(●'◡'●)