怎样识别百度的匿名蜘蛛

  • A+
所属分类:SEO技术知识

做网站SEO优化推广的站长对蜘蛛抓取站点信息还是比较敏感的。尤其是一些老站长,他们在搭建一个新站时,就想着不同的方法吸引蜘蛛,然后看看蜘蛛什么时候来抓取网站,抓取了哪些网站,目的就是想让新搭建的网站快速的通过沙盒期,然后有正常的收录及排名。

而如果我们需要去分析这个网站日志时,怎样去辨别百度的匿名蜘蛛,达到我们相关分析的目的呢?

怎样识别百度的匿名蜘蛛

怎样识别百度的匿名蜘蛛

据现在众多站长的发现,百度蜘蛛已经出现了很多类别,比如有单网页的蜘蛛抓取,有视频的抓取蜘蛛,甚至有一些联盟的抓取,搜索的抓取等等。不同的蜘蛛抓取,对于页面的识别也是不尽相同的。

比如单网页蜘蛛抓取到视频,其实它并不能识别,这对于站长来说,此次抓取相当于是白抓取。因此现在一些第三方平台也会对这些数据进行分析,从而判断哪些是模拟蜘蛛,哪些是匿名有效的蜘蛛。

一般对于百度公布的蜘蛛IP段,SEO优化站长都可以正常的查看,之所以相信百度会有匿名蜘蛛抓取,就是有可能针对一些黑帽优化进行反作弊监测。

理论上来说,一般百度是不会使用这种匿名蜘蛛的,但是资深SEO优化站长都深信是存在的。但是使用黑帽优化的网站,经常会在一段时间后就被搜索引擎发现,从而修复漏洞,然后黑帽优化的效果也就会消失。

当然,作为搜索引擎来说,它的审核机制还是比较明显的,不过有时候也会有一些人工干预,这就导致我们网站正常排名时,突然出现大的波动。

不过SEO优化是一个长期坚持的过程,把握好优化的惊讶,将搜索引擎与用户体验相结合,网站也就会出现正常的排名。对于这些匿名的蜘蛛访问,如果正常去操作,基本也不会出现让网站降权的现象,即使真要识别,主要针对一些访问时间较晚,且访问频率比较单一的蜘蛛做一些标记。而且在不同时间进行核对,也就不难发现这些匿名蜘蛛的存在。

【小编提示】一般常见的百度IP段有:

123.125.68沙盒蜘蛛 | 220.181.68沙盒蜘蛛

220.181.7预备抓取蜘蛛|123.125.66预备抓取蜘蛛

121.14.89新站考察蜘蛛

203.208.60网站异常蜘蛛

210.72.225巡逻蜘蛛

123.125.71.106低权重蜘蛛

123.125.71.95低权重蜘蛛

123.125.71.97低权重蜘蛛

123.125.71.117低权重蜘蛛

123.125.71低权重汇总蜘蛛

220.181.108.95隔日快照蜘蛛

220.181.108.92权重抓取蜘蛛

220.181.108.91综合权重蜘蛛

220.181.108.75内页权重蜘蛛

220.181.108.86权重首页蜘蛛

220.181.108.89权重首页蜘蛛

220.181.108.94权重首页蜘蛛

220.181.108.97权重首页蜘蛛

220.181.108.80权重首页蜘蛛

220.181.108.77权重首页蜘蛛

220.181.108.83权重首页蜘蛛

220.181.108权重蜘蛛汇总

 

以下是所有具体的百度蜘蛛IP段汇总,仅供参考

相关详见图表 点击查看

 

 

  • Y7网络QQ群
  • 482772634
  • weinxin
  • Y7微信公众号
  • 我的微信公众号扫一扫
  • weinxin
admin

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: