DotBot
SEO 工具
开发商
Moz
用户代理
DotBot
通过 Robots.txt 拦截
User-agent: DotBot
Disallow: /
把以上片段加入网站根目录的 robots.txt 即可要求该蜘蛛停止抓取全部页面（需改为只拦某个目录，把 Disallow: / 换成对应路径）。
此类爬虫不产生搜索流量，如需节省服务器资源可直接按上方片段拦截。
详细介绍
DotBot 是由 OpenLink Software 开发的网络爬虫，主要用于 SEO 分析、网站健康检查、外链挖掘及页面结构审计。
它被广泛集成于第三方 SEO 工具平台（如 Ahrefs、Majestic 的部分数据源）中，协助用户评估反向链接质量、抓取网页元信息及检测技术问题。
典型 User-Agent 格式为 'DotBot/1.2.3 (https://opensiteexplorer.org/dotbot)' 或类似变体，UA 中固定包含 'DotBot' 字符串。
该爬虫行为相对规范，遵守 robots.txt 协议，但因高频抓取可能对服务器造成压力，尤其在未配置 Crawl-Delay 的站点上。
建议网站管理员在 robots.txt 中根据实际负载情况选择性允许或限制其访问，例如通过 'User-agent: DotBot\nDisallow: /' 进行拦截，或使用 'Crawl-delay: 5' 缓解请求频率。
DotBot 不属于搜索引擎或 AI 训练用途，亦不参与社交分享预览，纯属第三方网站诊断工具类爬虫。