Facebook爬虫（facebookexternalhit）是什么 - 开发商、用户代理 UA 与 robots.txt 拦截

Facebook爬虫

开发商

Meta

用户代理

facebookexternalhitFacebot

通过 Robots.txt 拦截

User-agent: facebookexternalhit
User-agent: Facebot
Disallow: /

把以上片段加入网站根目录的 robots.txt 即可要求该蜘蛛停止抓取全部页面（需改为只拦某个目录，把 Disallow: / 换成对应路径）。此类爬虫不产生搜索流量，如需节省服务器资源可直接按上方片段拦截。

详细介绍

facebookexternalhit（Facebot 为旧标识）抓取分享到 Facebook 的链接生成预览。页面应保证 og:title/og:image/og:description 完整，否则分享卡片会缺失内容。

💡 本篇收录于「搜索引擎蜘蛛大全」，配合「网站日志分析工具」可自动识别该蜘蛛在日志中的访问与抓取页面。