zhongziso牛人大佬:

  1. 220.181.51.94 – – "GET / HTTP/1.1" 301 0 "-" "Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html\xA3\xA9"
  2. 220.181.51.121 – – "GET / HTTP/1.1" 301 0 "-" "Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html\xA3\xA9"

Alicloud牛人大佬:
百度蜘蛛的UA是Android?

zhongziso牛人大佬:


百度蜘蛛的UA是Android?

是假的吗?

苁林老鬼牛人大佬:


百度蜘蛛的UA是Android?

百度 有移动蜘蛛。。 你不看百度站长平台吗

zhongziso牛人大佬:
这个ip好像是真的蜘蛛,只不过是移动蜘蛛,但是不知道为什么抓取会显示404

苁林老鬼牛人大佬:


这个ip好像是真的蜘蛛,只不过是移动蜘蛛,但是不知道为什么抓取会显示404 …

你要检查 他抓取的页面存在不。。