libwww-perl
libwww-perl 是 Perl 脚本爬虫 的网络爬虫，本文介绍其访问行为、作用以及屏蔽方法，适合SEO与站点维护使用。
Mediapartners-Google
Mediapartners-Google 是 谷歌联盟广告蜘蛛 的网络爬虫，本文介绍其访问行为、作用以及屏蔽方法，适合SEO与站点维护使用。
Ruby
Ruby 是 Ruby 脚本爬虫 的网络爬虫，本文介绍其访问行为、作用以及屏蔽方法，适合SEO与站点维护使用。
BingPreview
BingPreview 是 必应网页预览 的网络爬虫，本文介绍其访问行为、作用以及屏蔽方法，适合SEO与站点维护使用。
Slackbot
Slackbot 是 Slack 预览爬虫 的网络爬虫，本文介绍其访问行为、作用以及屏蔽方法，适合SEO与站点维护使用。
DataForSeoBot
DataForSeoBot 是 DataForSeo蜘蛛 的网页爬虫，本文介绍其识别方式、抓取行为及屏蔽建议，适合站长SEO优化。
WellKnownBot
WellKnownBot 是 WellKnown蜘蛛 的网页爬虫，本文介绍其识别方式、抓取行为及屏蔽建议，适合站长SEO优化。
Facebot
Facebot 是 Face蜘蛛 的网页爬虫，本文介绍其识别方式、抓取行为及屏蔽建议，适合站长SEO优化。
YouBot
YouBot 是 You蜘蛛 的网页爬虫，本文介绍其识别方式、抓取行为及屏蔽建议，适合站长SEO优化。
heritrix
heritrix 是 heritrix蜘蛛 的网页爬虫，本文介绍其识别方式、抓取行为及屏蔽建议，适合站长SEO优化。
MSNBot-Academic
MSNBot-Academic 是 微软学术蜘蛛 的网页爬虫，本文介绍其识别方式、抓取行为及屏蔽建议，适合站长SEO优化。
lycos_spider
lycos_spider 是 Lycos蜘蛛 的网页爬虫，本文介绍其识别方式、抓取行为及屏蔽建议，适合站长SEO优化。