说明:如果您有任何疑问或想咨询其他业务请拨打电话 400 685 0732
全网监测海量数据按需发布监测预警
实时把握舆情动态精准追溯信息源头
一向以新人的身份看待自己,当然,我本来也是新人,说实话,确实不太敢写一些技术性的东西,然而写些感想又觉得太没意思,所以尝试写一下自己的分析,如有错误,还请各位看官及时更正!
昨天写了A客户的月报,因为有模板所以也算是顺利,统计数据的时候突然发现高网站的抓取频次远远不如B客户的网站,简直差了一大截。如下图所示。
A客户网站抓取频次
B客户网站抓取频次
由上图我们可以看出,B客户网站的抓取频次几乎都在7500以上,而A客户网站的抓取频次全都在1000以下。那什么原因导致了抓取频次的差异呢?
首先,我们来分析一下,抓取频次的影响因素。一般来说,影响蜘蛛抓取频次的官方因素是网站的外链,网站发布内容发热质量、原创度及发布的时间,网站的死链,网站的代码和站长工具。这两个站都是我们的客户,外链的质量,死链的数量,发布内容及时间,包括站长工具都是相同或类似的,为什么抓取频次会有如此大的差距呢?是否是网页数量的问题呢?其实不是的,我们来看一下两网站的抓取时间。
A客户网站的抓取时间
B客户网站的抓取时间
显然,网站抓取频次少的重大元凶是抓取时间太长。蜘蛛抓取的时间是一定的,抓取时间那么长怎么能挽留蜘蛛呢?此外,是否服务器的差异也导致了两个网站抓取频次的差异呢?我们一起来看一下如下两个图。
A客户服务器无响应次数(501、502等状态码)
B客户服务器无响应次数(501、502等状态码)
由上图可以看到,A客户的服务器无响应次数很多,而B客户则完全相反,这难道还不能说明原因吗?同样的客户,我们同样认真的服务,即使策略不同,该有的调整都会做好。蜘蛛的耐心是有限的,抓取的时候时间长了它会离开,无响应它也会离开,如果连续几次都是无响应状态,那么它来抓取的频率也会有所下降。
抓取频率一旦下降,短期之内也是升不上来的,只能依靠定时高质量的更新慢慢吸引蜘蛛的到来。所以,小伙伴们,在抱怨网站抓取频次太低之前,请先看看服务器还OK吗?
推荐阅读
常见的seo排名优化问题有哪些?十种常见百度Seo排名优化技巧 |...解决具体思路及方法:太明显的广告贴肯定是会被删,因为这属于低质量内容,发到你网站上,你不删?像新浪博客,乐乎等等被删的几率小。高质量外链首先合乎主贴(题),然后在外链周围要写对应的关键词,广告不能太硬,这样肯定被删除,切记软着来写。 4、百度站长平台里的抓取频次和时间怎么去分析? 解决具体思路及方法:这...为什么网站的抓取频次低? | 文军营销为什么网站的抓取频次低? 时间:2015-02-20 10:02:09 一向以新人的身份看待自己,当然,我本来也是新人,说实话,确实不太敢写一些技术性的东西,然而写些感想又觉得太没意思,所以尝试写一下自己的分析,如有错误,还请各位看官及时更正! 昨天写了a客户的月报,因为有模板所以也算是顺利,统计数据的时候突然发现高网站...为什么网站的抓取频次低? | 文军营销首先,我们来分析一下,抓取频次的影响因素。一般来说,影响蜘蛛抓取频次的官方因素是网站的外链,网站发布内容发热质量、原创度及发布的时间,网站的死链,网站的代码和站长工具。这两个站都是我们的客户,外链的质量,死链的数量,发布内容及时间,包括站长工具都是相同或类似的,为什么抓取频次会有如此大的差距呢?是否是网页...为什么网站的抓取频次低? | 文军营销首先,我们来分析一下,抓取频次的影响因素。一般来说,影响蜘蛛抓取频次的官方因素是网站的外链,网站发布内容发热质量、原创度及发布的时间,网站的死链,网站的代码和站长工具。这两个站都是我们的客户,外链的质量,死链的数量,发布内容及时间,包括站长工具都是相同或类似的,为什么抓取频次会有如此大的差距呢?是否是网页...
说明:如果您有任何疑问或想咨询其他业务请拨打电话 400 685 0732