小红书屏蔽了所有搜索引擎，蜘蛛遵守robots协议？
小红书已通过 robots.txt 屏蔽所有搜索引擎，包括百度、Google、Bing 等，表面上不希望被收录，但国内多数搜索引擎却依然收录了大量页面，robots 协议真的有...
YisouSpider，一个正在变成“合法DDoS”的国产爬虫
2005年前后，中国搜索引擎江湖风起云涌。当时还在雅虎中国的周鸿祎，带领团队打造了Yisou（一搜）——这款产品一度在搜索质量和用户体验上超越百度，加上3721网...
从SEO角度看：怎么判断一个域名是否被K过或进垃圾黑名单
你是否也遇到过这种情况：辛辛苦苦搭建的外贸网站，Google却迟迟不收录？ 这个问题曾困扰我很久，站在SEO的角度来说，如果网站长时间没有被收录，几乎就等于...