当前位置:首页解析百度蜘蛛如何抓取网站和提高抓取频率 举报文章

解析百度蜘蛛如何抓取网站和提高抓取频率

作者:admin    来源:用户投稿    时间:2015.8.12   

  做seo的小伙伴对百度搜索引擎和蜘蛛是情有独钟啊,因为目前百度是国内PC端和移动端搜索引擎的老大,seo的小伙伴当然是希望百度蜘蛛能够更多的抓取网站,只有抓取的页面多了,才有可能获得更好的收录、排名和流量。百度蜘蛛:Baiduspider、1818平台

  下面就先和各位分享一下百度蜘蛛是如何从最原始的策略制定到抓取的。

  一、百度蜘蛛抓取规则

  1、对网站抓取的友好性

  百度蜘蛛在抓取互联网上的信息时为了更多、更准确的获取信息,会制定一个规则最大限度的利用带宽和一切资源获取信息,同时也会仅最大限度降低对所抓取网站的压力。

  2、识别url重定向

  互联网信息数据量很庞大,涉及众多的链接,但是在这个过程中可能会因为各种原因页面链接进行重定向,在这个过程中就要求百度蜘蛛对url重定向进行识别。

  3、百度蜘蛛抓取优先级合理使用

  由于互联网信息量十分庞大,在这种情况下是无法使用一种策略规定哪些内容是要优先抓取的,这时候就要建立多种优先抓取策略,目前的策略主要有:深度优先、宽度优先、PR优先、反链优先,在我接触这么长时间里,PR优先是经常遇到的。

  4、无法抓取数据的获取

  在互联网中可能会出现各种问题导致百度蜘蛛无法抓取信息,在这种情况下百度开通了手动提交数据。

  5、对作弊信息的抓取

  在抓取页面的时候经常会遇到低质量页面、买卖链接等问题,百度出台了绿萝、石榴等算法进行过滤,据说内部还有一些其他方法进行判断,这些方法没有对外透露。

  上面介绍的是百度设计的一些抓取策略,内部有更多的策略咱们是不得而知的。

  二、百度蜘蛛抓取过程中涉及的协议

  1、http协议:超文本传协议

  2、https协议:目前百度已经全网实现https,这种协议更加安全。

  3、robots协议:这个文件是百度蜘蛛访问的第一个文件,它会告诉百度蜘蛛,哪个页面可以抓取,哪个不可以抓取。

  三、如何提高百度蜘蛛抓取频次

  百度蜘蛛会根据一定的规则对网站进行抓取,但是也没法做到一视同仁,以下内容会对百度蜘蛛抓取频次起重要影响。

  1、网站权重:权重越高的网站百度蜘蛛会更频繁和深度抓取

  2、网站更新频率:更新的频率越高,百度蜘蛛来的就会越多

  3、网站内容质量:网站内容原创多、质量高、能解决用户问题的,百度会提高抓取频次。

  4、导入链接:链接是页面的入口,高质量的链接可以更好的引导百度蜘蛛进入和爬取。

  5、页面深度:页面在首页是否有入口,在首页有入口能更好的被抓取和收录。

  6、抓取频次决定着网站有多少页面会被建库收录,这么重要的内容站长该去哪里进行了解和修改,可以到百度站长平台抓取频次功能进行了解,如下图:

1818平台

  四、什么情况下会造成百度蜘蛛抓取失败等异常情况

  有一些网站的网页内容优质、用户访问正常,但是百度蜘蛛无法抓取,不但会损失流量和用户还会被百度认为网站不友好,造成网站降权、评分下降、导入网站流量减少等问题。

  霍龙在这里简单介绍一下造成百度蜘蛛抓取一场的原因:

  1、服务器连接异常:出现异常有两种情况,一是网站不稳定,造成百度蜘蛛无法抓取,二是百度蜘蛛一直无法连接到服务器,这时候您就要仔细检查了。

  2、网络运营商异常:目前国内网络运营商分电信和联通,如果百度蜘蛛通过其中一种无法访问您的网站,还是赶快联系网络运营商解决问题吧。

  3、无法解析IP造成dns异常:当百度蜘蛛无法解析您网站IP时就会出现dns异常,可以使用WHOIS查询自己网站IP是否能被解析,如果不能需要联系域名注册商解决。

  4、IP封禁:IP封禁就是限制该IP,只有在特定情况下才会进行此操作,所以如果希望网站百度蜘蛛正常访问您的网站最好不要进行此操作。

  5、死链:表示页面无效,无法提供有效的信息,这个时候可以通过百度站长平台提交死链。

  通过以上信息可以大概了解百度蜘蛛爬去原理,收录是网站流量的保证,而百度蜘蛛抓取则是收录的保证,所以网站只有符合百度蜘蛛的爬去规则才能获得更好的排名、流量。

  作者:霍龙文章来源:www.18link.com

好文打赏,给Ta鼓励
扫一扫用手机阅读本文
Tags:解析  百度  蜘蛛  如何  抓取  网站  提高  频率  
  • 相关搜索
图片推荐
    创新空间八大干货 投行还有存在必要吗?

    创新空间八大干货 投行还有存在必要吗?

    摘要:2014年凤凰财经峰会11月18日在北京揭幕,首站创新空间梦想原动力邀请了8位一线科技创业和从业的人士做演讲,共同探讨科技对传统的颠覆、未来科技和新生活方式。一张图带你了解8位加冰演讲干货。
    草根站长SEO旅程第四站----关键词挖掘(上)

    草根站长SEO旅程第四站----关键词挖掘(上)

    我们上一站了解的SEO常见名词,对SEO旅程我们就相当于有了防范意识,不会出现误区被忽悠了。下面我们来进入下一站,关键词。只要你用心发现耐心去走完这一站,你会看到期待已久的风景美人。  我们来看看长尾
    如何进行邮件营销才有效?

    如何进行邮件营销才有效?

    邮件营销是网络营销中的非常重要的营销方式,特别是随着人们发现提取QQ群成员,进行邮件营销更加精准以后,邮件营销越来越收到网络营销人员的喜爱。但很多做营销的朋友在做邮件营销的时候总是一味的蛮干,以为发出
    从亚马逊看电商国际化,只能“窝里横”?

    从亚马逊看电商国际化,只能“窝里横”?

    摘要: 任何有野心的电商都在积极布局国际业务,他们正好和亚马逊组成了互咬之势,亚马逊想搞活中国市场,而阿里、京东们也在想尽一切办法征服美国消费者,但从现在的情况看,还没有谁能取得成功。    在亚马逊
    网站服务管理系统wdcp系列教程之(七)

    网站服务管理系统wdcp系列教程之(七)

    在大家安装了网站服务管理系统wdcp之后,在使用过程中可能会出现这样或那样的疑问,下面给大家整理几点出来,方便大家学习。还有不懂得话,可以去wdlinux论坛找找相关教程。  1、wdcp与一健安装包
    转发了,今天腾讯老总马化腾的生日

    转发了,今天腾讯老总马化腾的生日

    今天是马化腾的生日,转发这条消息到五个群,他们会骂你是XX,管理还可能会禁言你,但是他们百度过后就会发现,今天真的是马化腾的生日....马化腾,腾讯公司控股董事会主席兼首席执行官,别名小马哥,外文名P
    说再见:如何为一款失败的产品划上休止符

    说再见:如何为一款失败的产品划上休止符

    技术的开放性是互联网真正的威力所在。只要感兴趣,任何人都能创建一个网站,甚至任何有想法的人都能创造出下一个 Facebook。无关性别、宗教或种族,只要有写代码的心和创造的渴望,技术便随你掌控。  创
你是怎么知道非凡网赚网的?
  •   
  • 联系QQ 邮箱:976382653@qq.com 微信:976382653
    在线留言
    发布软文
    广告自助购
    文章调用
    常见问题
    保存到桌面