AI 爬虫爬虫 —— 开发商、用户代理 UA 与 robots.txt 拦截方法
User-agent: Meta-ExternalAgent User-agent: meta-externalfetcher Disallow: /
robots.txt 即可要求该蜘蛛停止抓取全部页面（需改为只拦某个目录，把 Disallow: / 换成对应路径）。
注意：Meta-ExternalAgent 抓取的内容用于 AI 模型训练与问答，不参与搜索引擎收录，拦截它不影响你在搜索结果中的排名；如不希望站点内容被用于 AI 训练，建议直接按上方片段拦截。