巧妙设置使搜索引擎蜘蛛回源站抓取,用户从cloudflare的节点访问

作者: admin 分类: cloudflare使用教程 发布时间: 2018-09-08 23:50

首先说明下为什么要设置使搜索引擎蜘蛛回源站抓取,用户从cloudflare的节点访问:

1,蜘蛛之所以要从源站抓取,是因为源站在香港,相比蜘蛛抓取CF(cloudflare的简称)的美国节点,抓取平均耗时要短的多,有利于优化。之前也写过这方面的测试:用cloudflare以后,蜘蛛抓取耗时测试

2,用户要从节点访问的原因,第一个当然是为了更安全,第二个是为了减少服务器负担,第三个更重要的原因是,我发现移动线路经常无法访问香港,但是用了CF以后,访问就没啥问题了

说了设置的必要性,再说下怎么设置:

一,先去cdn.bnxb.com 激活你的CF自定义接入权限。

用你之前在CF官方网站上注册的账号密码登录即可。

为什么不直接登录官网呢?那是因为官方自定义ip功能需要2000美元一个月的付费功能,而这个网站是官方提供的合作伙伴特权,他使用的是官方api,设置都是官方保存,这个网站倒闭了也不会影响原来的功能,大不了换家接入点继续使用,这是CF的推广策略,把部分收费功能提供给这些所谓合作者。

登录以后,添加域名,然后设置CNAME接入:

添加域名

CNAME接入

注意,一定是cname接入,如果之前已经在官方设置了DNS接入的,点击切换到CNAME接入即可。

切换接入为CNAME接入

然后设置好域名、接入方式等:

绑定CNAME

 

如上图所示,第一项填你要设置CNAME解析的域名,第二项是A接入类型了,第三项填源站IP,第四项默认开启,其它不用管。

这一步实际上就是给你的域名分配一个解析域名,解析域名也是要知道源站IP的,不然CDN回源就不知道回到哪里了。这里第三项就是回源IP地址。CDN选择不开启,那就相当于CF只有代理作用,不会缓存任何信息,只是对访问者隐藏源站的IP地址。

设置好以后,可以看到分配出来了一个CNAME记录:

CNAME记录

第二步,进入DNSPOD设置不同访问者不同解析

为了实现效果,我选择搜索引擎,然后A记录到源IP;默认线路选择CNAME解析,如图:

在DNSPOD里的设置记录

对这个设置解释如下:除了搜索引擎访问,其它用户全部走CNAME线路。DNSPOD官方对此也有例子说明:

解析方式

三,原理解释:

用户会和域名注册商询问dns地址,然后查到你设置的是dnspod,在跟dnspod询问ip是多少。dnspod根据不同的人,给不同的回复,dnspod发现是百度来问,就给百度,客官,香港请(我源站IP是香港)。其他人,你们去这边,嗯,那个地方美国(大部分国内用户访问CF的节点在美国)。cname 其实就是让访客重新去查那个域名。第一步,进到那个网址里面设置是为了让CF知道源站在哪里是吧,但用户访问的时候,CNAME指向的是节点IP。

相关文章

发表评论

邮箱地址不会被公开。 必填项已用*标注

Powered by 草根站长笔记 © 2015-2020 草根站长笔记 Inc.版权所有,禁止转载