必应蜘蛛（bingbot）是什么 - 开发商、用户代理 UA 与 robots.txt 拦截

必应蜘蛛搜索引擎

开发商

微软 Microsoft

用户代理

bingbotadidxbot

通过 Robots.txt 拦截

User-agent: bingbot
User-agent: adidxbot
Disallow: /

把以上片段加入网站根目录的 robots.txt 即可要求该蜘蛛停止抓取全部页面（需改为只拦某个目录，把 Disallow: / 换成对应路径）。注意：必应蜘蛛属于搜索引擎爬虫，拦截后该引擎将无法收录你的页面，请谨慎使用。

详细介绍

bingbot 是微软 Bing 的抓取爬虫，UA 形如 Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) 。广告检索索引由 adidxbot 承担，遵循 robots.txt，对网页加载速度敏感，抓取频率通常低于百度与谷歌。

💡 本篇收录于「搜索引擎蜘蛛大全」，配合「网站日志分析工具」可自动识别该蜘蛛在日志中的访问与抓取页面。

必应蜘蛛（bingbot）

详细介绍

同类蜘蛛推荐