一、facebookexternalhit/1.1 是什么蜘蛛？
facebookexternalhit 是 Facebook（Meta）用于抓取网页分享信息的专用爬虫程序，也被称为 Facebook 外链抓取器（Facebook External Hit Crawler）。
facebookexternalhit/1.1 是什么
当用户在 Facebook 发布、粘贴或分享某个网页链接时，Facebook 会自动派出 facebookexternalhit 爬虫访问该页面，用于抓取网页标题、摘要、封面图片等信息，从而生成链接预览卡片。
常见的 User-Agent 如下：
facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
需要注意的是，facebookexternalhit 并不是传统意义上的搜索引擎蜘蛛，它的主要作用是 **生成社交平台分享预览**。
二、facebookexternalhit 的工作原理
当某个网页被分享到 Facebook 时，系统会自动触发 facebookexternalhit 抓取该网页。
基本流程如下：
- 用户在 Facebook 发布网页链接
- Facebook 服务器发送抓取请求
- facebookexternalhit 访问网页 URL
- 读取 HTML 页面头部元数据
- 解析 Open Graph 标签
- 生成分享卡片预览
facebookexternalhit 主要读取以下 Open Graph 标签：
如果网页没有配置这些标签，Facebook 分享时可能无法正确显示标题或封面图片。
三、facebookexternalhit 的访问行为特点
facebookexternalhit 与 Googlebot、Bingbot 等搜索引擎蜘蛛存在明显区别，其抓取行为具有以下特点：
- 抓取通常由用户分享行为触发
- 不会主动遍历整站
- 抓取重点在页面头部元数据
- 可能会重复抓取同一 URL 更新缓存
- 会抓取 HTML 页面和分享图片资源
服务器日志中通常会出现类似访问记录：
111.222.111.222 - - [13/Apr/2025:12:34:56 +0800] "GET /post/example HTTP/1.1" 200 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)"
四、facebookexternalhit 是否影响 SEO
facebookexternalhit 本身不会直接影响搜索引擎排名，因为它不会参与网页收录或搜索排序。
不过它会影响 **社交媒体分享效果**。
如果网页配置正确的 Open Graph 标签：
- 分享卡片展示更完整
- 标题更吸引用户点击
- 社交平台传播效果更好
因此虽然 facebookexternalhit 不属于 SEO 收录蜘蛛，但对 **社交传播优化（Social SEO）** 仍然具有重要意义。
五、如何查看 facebookexternalhit 是否访问过网站
网站管理员可以通过服务器访问日志查看 facebookexternalhit 的访问记录。
例如在 Linux 服务器中执行：
grep facebookexternalhit /www/wwwlogs/access.log
如果日志中出现相关 User-Agent，则说明 Facebook 外链抓取器已经访问过该页面。
六、facebookexternalhit 常见 IP 地址
facebookexternalhit 的访问 IP 通常来自 Facebook 数据中心，例如：
31.13.64.0/18
66.220.144.0/20
69.63.176.0/20
173.252.64.0/18
由于 Facebook 使用全球 CDN 和数据中心，实际访问 IP 可能会有所变化。
七、是否需要屏蔽 facebookexternalhit
大多数情况下不建议屏蔽 facebookexternalhit。
如果屏蔽该爬虫：
- Facebook 分享链接无法生成预览
- 标题和图片可能不会显示
- 社交分享体验下降
因此建议允许其访问公开页面。
八、如果需要限制 facebookexternalhit 可以这样做
robots.txt 限制
User-agent: facebookexternalhit
Disallow: /
nginx 拦截
if ($http_user_agent ~* "facebookexternalhit") {
return 403;
}
Apache 拦截
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} facebookexternalhit [NC]
RewriteRule .* - [F,L]
九、总结
facebookexternalhit/1.1 是 Facebook 用于抓取网页分享信息的专用爬虫。
其主要作用是读取 Open Graph 标签并生成网页分享预览。
虽然它不会直接影响搜索引擎排名，但正确配置页面元数据可以提升社交平台传播效果。
对于站长来说，了解 facebookexternalhit 的抓取机制并合理配置 OG 标签，是优化网站社交分享体验的重要步骤。
本文由 四六啦工具 – www.46.la 整理，转载请注明出处。