谷歌展示广告爬虫
SEO 工具
开发商
谷歌 Google
用户代理
Google-Display-Ads-Bot
通过 Robots.txt 拦截
User-agent: Google-Display-Ads-Bot
Disallow: /
把以上片段加入网站根目录的 robots.txt 即可要求该蜘蛛停止抓取全部页面（需改为只拦某个目录，把 Disallow: / 换成对应路径）。
此类爬虫不产生搜索流量，如需节省服务器资源可直接按上方片段拦截。
详细介绍
Google-Display-Ads-Bot 是谷歌官方运营的工具类爬虫，专为 Google Display & Video 360 平台服务，用于抓取广告主提交的展示广告（如 HTML5、图片、视频素材）以进行内容审核、预览渲染、安全扫描及合规性检查。
其 User-Agent 固定为 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Google-Display-Ads-Bot'，不含版本动态变化。
该爬虫不索引网页、不参与搜索排名，也不采集用户数据，仅访问广告资源 URL（通常为托管在第三方 CDN 或广告主服务器上的素材路径）。
由于其访问频率低、目标明确且对广告投放至关重要，谷歌官方建议**不要在 robots.txt 中屏蔽**；若误封可能导致广告审核失败或预览异常。
如需识别，应严格匹配完整 UA 字符串而非子串，避免与常规 Chrome 浏览器 UA 冲突。