chinayang牛人大佬:
当CDN开启搜索引擎优化的时候,遇到蜘蛛应该会直接回源吧,但是源站又只允许CDN的IP访问,这样是不是会导致蜘蛛抓不到内容

tir牛人大佬:
这我就不知道了哦!

iks牛人大佬:

明确回答,不会。除非你在 DNS 里作死让 DNS 给蜘蛛解析到源

当CDN开启搜索引擎优化的时候,遇到蜘蛛应该会直接回源吧

???为什么,除非特别设置,否则绝无可能
建议了解 TCP/IP 和 DNS 以及 UA 的相关知识

chinayang牛人大佬:


???为什么,除非特别设置,否则绝无可能
建议了解 TCP/IP 和 DNS 以及 UA 的相关知识 …

我开启了CDN的搜索引擎优化之后,使用百度的抓取诊断,直接抓取的IP就是源站IP

ansheng牛人大佬:
蜘蛛为什么要访问源站?那要CDN干嘛

iks牛人大佬:


我开启了CDN的搜索引擎优化之后,使用百度的抓取诊断,直接抓取的IP就是源站IP …

谁家的CDN和DNS?

小旭牛人大佬:


我开启了CDN的搜索引擎优化之后,使用百度的抓取诊断,直接抓取的IP就是源站IP …

应该是CDN放行源站IP

citywar牛人大佬:
那就关了呗 都明确是源站IP呢