搜索引擎蜘蛛大全

百度蜘蛛百度 Baidu详情 ›

Baiduspider

百度搜索网页爬虫，分 PC 与移动端（Baiduspider-mobile），附带了百度图片、视频等子类。

Googlebot谷歌 Google详情 ›

GooglebotAdsBot-Google

全球最大搜索引擎的抓取爬虫，含 Googlebot-Image / Googlebot-News 等子类。

必应蜘蛛微软 Microsoft详情 ›

bingbotadidxbot

Bing 搜索爬虫，负责必应网页收录与广告索引。

搜狗蜘蛛搜狗 Sogou详情 ›

Sogou web spiderSogou inst spider

搜狗搜索网页/图片爬虫，微信搜索资料源之一。

360蜘蛛三六零 360详情 ›

360Spider

360 搜索（好搜）网页爬虫。

神马蜘蛛UC / 阿里巴巴详情 ›

YisouSpiderYisouSpider-image

神马搜索爬虫，面向移动端浏览器（uc/夸克）。

字节蜘蛛字节跳动详情 ›

Bytespider

今日头条/抖音搜索爬虫，抓取频率较高。

华为蜘蛛华为详情 ›

PetalBot

华为花瓣搜索爬虫，跟随鸿蒙生态设备推广。

有道蜘蛛网易详情 ›

YoudaoBotYoudaoAdBot

有道搜索/词典爬虫。

DuckDuckBotDuckDuckGo详情 ›

DuckDuckBotddg-androidDuckDuckBot-Https

隐私搜索引擎 DuckDuckGo 的爬虫。

YandexBotYandex详情 ›

YandexBotYandexImagesYandexMobileBot

俄罗斯主流搜索引擎 Yandex 的爬虫。

Applebot苹果 Apple详情 ›

Applebot

苹果设备抓取，用于 Siri 建议、Spotlight 与 Apple News 预览。

GPTBotOpenAI详情 ›

GPTBot

OpenAI 训练数据抓取爬虫，抓取公开网页用于模型训练。

ChatGPT-UserOpenAI详情 ›

ChatGPT-User

ChatGPT 响应用户提问时实时访问页面的爬虫。

OAI-SearchBotOpenAI详情 ›

OAI-SearchBot

OpenAI 搜索功能的索引爬虫，影响内容能否出现在 ChatGPT 搜索结果中。

ClaudeBotAnthropic详情 ›

ClaudeBotClaude-Webanthropic-ai

Anthropic 的 AI 训练与网页抓取爬虫。

PerplexityBotPerplexity详情 ›

PerplexityBot

Perplexity AI 搜索的索引爬虫。

CCBotCommon Crawl详情 ›

CCBot

Common Crawl 开放语料库爬虫，大量 AI 模型的训练数据来源。

Meta-ExternalAgentMeta详情 ›

Meta-ExternalAgentmeta-externalfetcher

Meta AI 训练与内容抓取爬虫。

Amazonbot亚马逊 Amazon详情 ›

Amazonbot

亚马逊用于 Alexa 问答与 AI 服务的抓取爬虫。

TwitterbotX (Twitter)详情 ›

Twitterbot

抓取分享链接生成卡片预览。

Facebook爬虫Meta详情 ›

facebookexternalhitFacebot

Facebook 分享链接抓取，生成摘要与缩略图。

Google 广告合作伙伴爬虫谷歌 Google详情 ›

Mediapartners-Google

Google AdSense 合作伙伴广告匹配专用爬虫，用于内容分析与广告投放。

谷歌展示广告爬虫谷歌 Google详情 ›

Google-Display-Ads-Bot

谷歌用于广告素材抓取与预览的专用爬虫

AhrefsBotAhrefs详情 ›

AhrefsBot

Ahrefs 反向链接/SEO 审计工具爬虫，抓取全站页面。

SemrushBotSEMrush详情 ›

SemrushBot

SEMrush SEO 审计爬虫。

MJ12botMajestic-12详情 ›

MJ12bot

Majestic 链接数据库爬虫。

DotBotMoz详情 ›

DotBot

Moz 搜索研究与链接审计爬虫。