Google 广告合作伙伴爬虫
SEO 工具
开发商
谷歌 Google
用户代理
Mediapartners-Google
通过 Robots.txt 拦截
User-agent: Mediapartners-Google
Disallow: /
把以上片段加入网站根目录的 robots.txt 即可要求该蜘蛛停止抓取全部页面（需改为只拦某个目录，把 Disallow: / 换成对应路径）。
此类爬虫不产生搜索流量，如需节省服务器资源可直接按上方片段拦截。
详细介绍
Mediapartners-Google 是 Google 为 AdSense 合作伙伴网站提供的专用爬虫，负责抓取已嵌入 AdSense 代码的页面，分析内容语义以精准匹配上下文广告。
其 User-Agent 固定为 'Mediapartners-Google'，不遵循常规搜索引擎爬虫行为（如不索引页面、不参与搜索排名），仅服务于广告系统。UA 示例：'Mediapartners-Google/2.1' 或带版本号变体。
该爬虫通常在用户访问含 AdSense 的页面时触发，模拟真实浏览环境，因此抓取频率与用户流量正相关。
由于其不参与网页索引且专用于广告匹配，Google 官方明确建议**不要在 robots.txt 中屏蔽**，否则可能导致广告填充率下降、eCPM 降低甚至广告展示中断。
若需限制，应通过 AdSense 后台配置或页面级广告控制（如 data-ad-format='none'）实现，而非全局拦截。
它不属于 Googlebot 系列，也不受 crawl-delay 等通用指令影响。