Applebot(Applebot)

搜索引擎爬虫 —— 开发商、用户代理 UA 与 robots.txt 拦截方法

Applebot 搜索引擎
开发商
苹果 Apple
用户代理
Applebot
通过 Robots.txt 拦截
User-agent: Applebot
Disallow: /
把以上片段加入网站根目录的 robots.txt 即可要求该蜘蛛停止抓取全部页面(需改为只拦某个目录,把 Disallow: / 换成对应路径)。 注意:Applebot 属于搜索引擎爬虫,拦截后该引擎将无法收录你的页面,请谨慎使用。

详细介绍

Applebot 是苹果设备的抓取程序,服务于 Siri 建议、Spotlight 与 Apple News 预览,对 iOS/macOS 用户可见性有影响,建议放行。
💡 本篇收录于搜索引擎蜘蛛大全」, 配合「网站日志分析工具」可自动识别该蜘蛛在日志中的访问与抓取页面。

同类蜘蛛推荐