最近发现百度一直不收录我的网站，所以就花点时间去看下什么情况，暂时发现以下问题
1.Cloud与百度的矛盾
这个问题貌似再详细说，大概就是cf的waf和百度craw的阻拦问题，改一下waf可以解决
2.百度的robots文件检测
跳转：百度检测robots地址
进入上面的url后，点击 检测并更新 按钮，百度会马上先发两个请求，但这两个请求不是请求robots.txt。。如下图
看着百度检测的页面在发送完前面两个请求后，不久就显示检测失败。。后面才发第三个robots的请求。。。但这里第三个请求确实没有到我的服务器里。
检查cf后。。发现cf cache了 robots.txt文件。。所以没有到我服务器
就这样先。。洗澡上分睡觉