驴总牛人大佬:
不是说更新频率高的,搜索引擎收录也就越快,爬虫来的也越频繁吗。
比如我网站上百万个页面,根据页面的观看量进行排序的。可能页面每分钟都在发生变化 。
那蜘蛛即使发modifitaion的请求,我这也会按有变化返回实际内容,而不是304
哪位D大的给解释下
送财童子小花花牛人大佬:
我要是懂这个我就厉害了,解答不了嘿嘿
(579/999)
改过自新牛人大佬:
很简单。 类似于打包计算一个MD5,当下次在爬时对比上次的md5,每次都变就说明你更新快,就来的快。
细节以及维度就是它们的机密了。
intro牛人大佬:
终于问到我稍微了解的领域了 所谓的更新频率 并不重要 你只需要关注你网站的展现量 和 前三十的点击量 就可以保障你网站的爬虫预算了