提示:每次最多只能查询20条
通过该工具可以识别是否是真的搜索引擎蜘蛛IP,很多是通过 user-agent 伪造的,帮大家节省垃圾流量带宽。不少伪造的爬虫程序会伪造 user-agent 冒充 baidu、google 等搜索擎,好在 google、baidu、bing 等搜索引擎都提供一个 DNS 反向 IP 查询功能。
工具说明

目前支持识别的搜索引擎ip蜘蛛有8个:

谷歌搜索引擎蜘蛛  百度搜索引擎蜘蛛  360搜索引擎蜘蛛  搜狗搜索引擎蜘蛛  雅虎搜索引擎蜘蛛  神马搜索引擎蜘蛛  必应搜索引擎蜘蛛  字节跳动搜索引擎蜘蛛

使用场景

1、对于一个攻击者,或者采集者,伪装成搜索引擎,很容易躲过你的肉眼检查,兴奋的你还在为搜索引擎来访而洋洋得意的时候,其实是个假蜘蛛
2、如果你的站点对搜索引擎蜘蛛要求比较精细,你可以通过openresty的resty.dns.resolver模块+user-agent,在content_by_lua_file中实现精确的访客控制!
3、通过ip反向查询蜘蛛,可以让假引擎蜘蛛现行,直接扼杀在黑名单中!
4、识别出假蜘蛛处理的方法有很多,不再一一细说!

实现原理

部分官方已明确给出了确定真实蜘蛛的方法,比如百度官网所说,可以使用dns反向解析,可以确认正确的蜘蛛,比如:

E:\bugscansplit>nslookup 220.181.108.80
服务器:  public1.114dns.com
Address:  114.114.114.114

名称:    baiduspider-220-181-108-80.crawl.baidu.com
Address:  220.181.108.80

那么后缀为.baidu.com的就是真实的蜘蛛,其他同理,都有相应的反向域名后缀标志,通过收集这些后缀,就形成了这个工具!

工具亮点

1、搜索引擎蜘蛛照妖镜,是实时通过nslookup检测,具有很高的时效性和准确性!
2、另外因为本人能力有限,收集的蜘蛛IP还不足够多,对于未能检测出来的ip也不一定是假蜘蛛,对于检测出来的一定是真蜘蛛!
3、工具提供的结果只作为参考,请务用于真实业务场景

更新日志

发布时间:2023年11月10日上线!
更新时间:2023年11月25日,增加了360搜索引擎官方IP库,参考360官方发布的IP,https://www.so.com/help/spider_ip.html
更新时间:2023年11月27日,修复了在输入的不是IP的情况下点击清空按钮,提示您输入的IP不正确的BUG。
更新时间:2023年11月29日,修复了在输入的IP第四段超过255的情况下,提示:IP的第四段超过255,错误IP:XXX.XXX.XXX.XXX
更新时间:2024年03月13日,优化代码,使其查询更快捷。增加了输入框默认示例。
更新时间:2024年03月14日,修复了输入框为空时,导致查询错误乱码。

相关导航

暂无评论

本文暂时没有评论,来添加一个吧(●'◡'●)