678PDF
首页
软件
博客
工具箱
注册
登录
360蜘蛛(360Spider)
搜索引擎爬虫 —— 开发商、用户代理 UA 与 robots.txt 拦截方法
首页
›
工具箱
›
搜索引擎蜘蛛大全
›
360蜘蛛
360蜘蛛
搜索引擎
开发商
三六零 360
用户代理
360Spider
通过 Robots.txt 拦截
User-agent: 360Spider Disallow: /
把以上片段加入网站根目录的
robots.txt
即可要求该蜘蛛停止抓取全部页面(需改为只拦某个目录,把
Disallow: /
换成对应路径)。 注意:360蜘蛛 属于搜索引擎爬虫,拦截后该引擎将无法收录你的页面,请谨慎使用。
详细介绍
360Spider 是三六零 360 搜索(好搜)的网页爬虫,UA 形如 Mozilla/5.0 (compatible; 360Spider/3.0),多用于网页与图片收录,抓取频率中等。
💡
本篇收录于
「
搜索引擎蜘蛛大全
」, 配合「
网站日志分析工具
」可自动识别该蜘蛛在日志中的访问与抓取页面。
同类蜘蛛推荐
百度蜘蛛
Googlebot
必应蜘蛛
搜狗蜘蛛