当前位置: 首页 > 素人随笔

必应Bing蜘蛛抓取频次很高,要不要做一些限制?

作者:admin发布时间:2022-10-08 10:44:44阅读:466

网站搭建成功之后,我们就想着千方百计让搜索引擎去收录、索引和排名。在国内,搜索引擎的市场还是百度一家独大,但同时也有搜狗、必应、神马和新生代的头条。当然了,力求能够使网站在百度上面获得不错的流量使我们的最理想的目标。不过,虽然百度占据国内绝大多数的流量入口,但是现在优化变得极为苦难,即便是已经建站许久的网站,如果网站一直没有什么起色,那么蜘蛛抓取的频次就相当可怜了。

我的一个网站目录站点,建站刚开始的时候是有备案的,当时百度的收录相当猛,在1周之内就突破一千条收录了。但当时这个网站的采集设置的限制不够,有部分内容涉及到敏感词,我的备案也因此被注销了。从那时起,网站的收录数据就不断下降,而且遭到了降权打击,目前只有200多条收录。

我在这个网站后台做了蜘蛛统计,发现百度蜘蛛抓取频次果然是比较低的,不过必应bing的抓取频次倒是高的可怕,跟google蜘蛛一样构成了我网站的主要蜘蛛来源。

image.png

当然了,我这个站点的内容虽然也有自动生成,但是比起我使用的小旋风蜘蛛池来说展示的新数据还是差的远,我的小旋风蜘蛛池后台的bing抓取频次更为恐怖。那么这么多bing蜘蛛抓取对我们网站来说有哪些好处和坏处呢?

其实答案很明显,好处就是我们的网站多了被bing搜索收录的机会;而坏处则是我们的服务器可能承受更多的压力,过高的负荷可能会导致宕机。这种抓取非常频繁的情况下我们要不要屏蔽掉IP或者对应的蜘蛛呢?

在我看来,蚂蚁腿也是肉,虽然bing的市场份额并不高,但是也是有不错的流量的,如果能够在必应bing上面有不错的排名,我们也算是有不错收获的。怎么做才能既不影响必应搜索的收录,又不会让我们服务器承载过多的压力呢?

我们需要借助必应bing官方的通道去设置。在必应配置那里找到“爬网控件”,设置网站收到最多流量的时间,可以选择自定义,或者挑选时间段。

微信截图_20220406135429.png

必应在此时间段内捉取的内容将是最少的,尽可能降低对可用宽带的干扰。这一点比较不错,如果服务器配置低的话,可以设置一下