搜索引擎爬虫 —— 开发商、用户代理 UA 与 robots.txt 拦截方法
User-agent: DuckDuckBot User-agent: ddg-android User-agent: DuckDuckBot-Https Disallow: /
robots.txt 即可要求该蜘蛛停止抓取全部页面（需改为只拦某个目录，把 Disallow: / 换成对应路径）。
注意：DuckDuckBot 属于搜索引擎爬虫，拦截后该引擎将无法收录你的页面，请谨慎使用。