Yisouspider
Yisouspider 是神马搜索的官方爬虫程序，本文介绍其抓取原理、访问行为和屏蔽设置。
Yahoo Slurp
Yahoo Slurp 是雅虎早期的爬虫程序，本文介绍其基本特征、历史背景及屏蔽方法。
sogou spider
全面解析Sogou Spider（搜狗蜘蛛）的定义、抓取原理、访问特征及其对SEO优化的影响，提供引导与屏蔽搜狗爬虫的实用方法与注意事项，帮助网站提升搜狗搜索引擎...
360Spider
360Spider 是360搜索的官方爬虫，用于抓取网页构建搜索索引。本文介绍360Spider的工作原理、访问特征、抓取User-Agent以及屏蔽方法，帮助站长优化网站SEO与抓...
Baiduspider
Baiduspider 是百度搜索的官方蜘蛛爬虫，本文介绍 Baiduspider 是什么、其 User-Agent 特征、抓取行为和对 SEO 的影响，并附带完整屏蔽方法与配置代码。
Log.ink：一款专业、高效、易用的网站日志分析工具推荐
Log.ink 是一款强大的网站日志分析工具，支持 Apache 和 Nginx 等格式日志上传，自动生成访问统计、爬虫识别、错误页面分析等交互式报表，适合站长、SEO专家...
宝塔Nginx配置只允许域名访问 禁止IP访问配置教程：防止SSL证书泄露IP的正确方式
本文详细介绍如何在宝塔面板中通过设置默认站点和错误证书，禁止Nginx被IP直接访问，有效防止SSL证书泄露服务器真实域名信息，并返回状态码444避免被扫描识别...
头条蜘蛛IP大全：识别今日头条爬虫的完整指南（附IP段、UA、防护策略）
一文详解头条蜘蛛（今日头条爬虫）的 IP 段、UA 标识及防护策略，帮助站长精准识别并有效拦截字节跳动系爬虫，提升网站安全与性能，附识别工具推荐与 Nginx ...
Nginx 禁止访问敏感目录和文件的配置方法【安全实战】
通过配置 Nginx 的 Location 规则，可有效禁止访问 .ini、.conf 等敏感配置文件，防止 Web 目录文件被直接下载泄露。本文提供实用规则与解释，增强网站安全。
全面解析 Nginx 缓存配置与清理方案（含 ngx_cache_purge 模块实战）
Nginx 缓存机制可以大幅提升网站访问效率，但缓存管理同样重要。本文详细介绍 Nginx 缓存配置方法、缓存清理脚本、ngx_cache_purge 模块安装与使用技巧，助你...
YisouSpider，一个正在变成“合法DDoS”的国产爬虫
2005年前后，中国搜索引擎江湖风起云涌。当时还在雅虎中国的周鸿祎，带领团队打造了Yisou（一搜）——这款产品一度在搜索质量和用户体验上超越百度，加上3721网...
记录一次帮用户解决网站异常 301 跳转的问题
本文记录一次用户网站跳转异常的排查经历，最终发现是 Nginx 配置中的 301 重定向规则导致问题。通过分析 meta 跳转、缓存清理无效的现象，定位宝塔设置问题...