标签: crawler

1 篇文章

百度站长检测Robots失败(一)
最近发现百度一直不收录我的网站,所以就花点时间去看下什么情况,暂时发现以下问题 1.Cloud与百度的矛盾 这个问题貌似再详细说,大概就是cf的waf和百度craw的阻拦问题,改一下waf可以解决 2.百度的robots文件检测 跳转:百度检测robots地址 进入上面的url后,点击 检测并更新 按钮,百度会马上先发两个请求,但这两个请求不是请求…