WE’RE
HERE

We’ll be happy to hear fram you, don’t
hesitate to get in touch

页面迟迟不收录,网站页面优化哪里出了问题?

浏览次数:100发布时间:2016/12/29文章来源:华仕尊城设计文章分类:最新动态
不抓取怎么会有收录,没有收录又怎么会有排行?但是就是这样一个显著的问题,却有很多的网站页面优化从业者将其疏忽掉。追根溯源还是网站的抓取...2016/12/29

不抓取怎么会有收录,没有收录又怎么会有排行?但是就是这样一个显著的问题,却有很多的网站页面优化从业者将其疏忽掉。追根溯源还是网站的抓取存在问题,严重者直接影响到网站的成长效果。

 

1、错误的封禁

在百度的robots.txt的更新上,如果多次点击“检测并更新”就会出现时常可以更新,但是又时常无法更新的问题。如此一来:不应当被收录的东西,在robots.txt上禁止的被收录了,又删除就很正常了。那么它的问题是什么呢?并非服务器负载过度,而是因为防火墙错误的将部分Baiduspider列入了黑名单。作为站长最少应该每周都检查更新一下robots.txt是否可以正常更新。

2、服务器异常

一般找正规网站建设公司做的网站,服务器都会选择比较靠谱的,北上广的一般都不错,可是也有种种原因,有的客户网站是挂在国外服务器上面的,或者是港澳台的,这里就必须要提到支持国产了,其实国内和国外的服务器说实话没有太大区别,国外的也不一定比国内的好,而唯一方便的是,如果服务器出现了什么问题,国内的服务器处理起来会比国外的要简单一些,服务器出现异常也是比较正常的事,这就需要大家理性对待了。

3、获取不到真实IP

规模较大的网站,一般都会使用CDN加速,但是有些站点不仅仅对“设备”使用了CDN加速,而且还对Spider使用了加速功能。最后的结果是什么呢?如果CDN节点不稳定,那么对网站spider来讲,这个问题将是致命的。

很多大型站点开放CDN的原因就是容易被攻击,这个时候如果不做“蜘蛛回源”就可想而知了。你的站点做了CDN了吗?请登录百度站长平台查看一下spider是否可以抓取真实IP地址吧!

4、频繁的50X类错误

这样的链接其中一个共同的特点是:当打开后,全部都是正常的,那么Spider为什么会报错提醒呢?只是因为在爬虫发起抓取的那一刻,httpcode返回了5XX”,你的站点是否频繁有这样的问题呢?有的话需要立即安排技术,或者通报IDC服务商做解决了!

5、错误的抓取比例

任何网站都做不到100%不出问题,但是万事有一个度:我们认为,这个比例不超过5%,对网站基本上是无影响的,且这样的错误不应当每天都出现。最常见的抓取错误一般都是链接超时:”抓取请求链接建立后,下载页面速度过慢,导致超时,可能原因服务器过载,带宽不足导致。

东莞网站建设 推荐华仕尊城   http://dg.w-vi.com

咨询电话:0755/29555722

(+86) 0755 2955 8889

518000

深圳宝安.西乡宝源.F518时尚创意园.17栋2楼

体验手机版您可以免费体验我们的服务(即时回复)

WWW.W-VI.COM
Copyright © W-Design. All Rights Reserved. 华仕尊城 版权所有 粤ICP 12007005-1 手机版 盗版必究 法律声明