Amazonbot
AI 爬虫
开发商
亚马逊 Amazon
用户代理
Amazonbot
通过 Robots.txt 拦截
User-agent: Amazonbot
Disallow: /
把以上片段加入网站根目录的 robots.txt 即可要求该蜘蛛停止抓取全部页面(需改为只拦某个目录,把 Disallow: / 换成对应路径)。
注意:Amazonbot 抓取的内容用于 AI 模型训练与问答,不参与搜索引擎收录,拦截它不影响你在搜索结果中的排名;如不希望站点内容被用于 AI 训练,建议直接按上方片段拦截。
详细介绍
Amazonbot 是亚马逊的抓取爬虫,服务于 Alexa 问答与相关 AI 服务的内容检索,UA 形如 Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) 。