chinayang牛人大佬:
当CDN开启搜索引擎优化的时候,遇到蜘蛛应该会直接回源吧,但是源站又只允许CDN的IP访问,这样是不是会导致蜘蛛抓不到内容
tir牛人大佬:
这我就不知道了哦!
iks牛人大佬:
明确回答,不会。除非你在 DNS 里作死让 DNS 给蜘蛛解析到源
当CDN开启搜索引擎优化的时候,遇到蜘蛛应该会直接回源吧
???为什么,除非特别设置,否则绝无可能
建议了解 TCP/IP 和 DNS 以及 UA 的相关知识
chinayang牛人大佬:
???为什么,除非特别设置,否则绝无可能
建议了解 TCP/IP 和 DNS 以及 UA 的相关知识 …
我开启了CDN的搜索引擎优化之后,使用百度的抓取诊断,直接抓取的IP就是源站IP
ansheng牛人大佬:
蜘蛛为什么要访问源站?那要CDN干嘛
iks牛人大佬:
我开启了CDN的搜索引擎优化之后,使用百度的抓取诊断,直接抓取的IP就是源站IP …
谁家的CDN和DNS?
小旭牛人大佬:
我开启了CDN的搜索引擎优化之后,使用百度的抓取诊断,直接抓取的IP就是源站IP …
应该是CDN放行源站IP
citywar牛人大佬:
那就关了呗 都明确是源站IP呢