当前位置:首页【网站抓取】如何正确识别Baiduspider移动ua 举报文章

【网站抓取】如何正确识别Baiduspider移动ua

作者:admin    来源:用户投稿    时间:2015.6.29   

  百度站长平台发布公告宣布新版Baiduspider移动ua上线,同时公布了PC版Baiduspider ua,那么该如何正确识别移动ua呢?我们百度站长平台技术专家孙权老师给出了答案:

  新版移动ua:

  Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

  PC ua:

  Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

  之前通过“+http://www.baidu.com/search/spider.html”进行识别的网站请注意!您需要修改识别方式,新的正确的识别Baiduspider移动ua的方法如下:

  1. 通过关键词“Android”或者“Mobile”来进行识别,判断为移动访问或者抓取。

  2. 通过关键词“Baiduspider/2.0”,判断为百度爬虫。

  另外需要强调的是,对于robots封禁,如果封禁的agent是Baiduspider,会对PC和移动同时生效。即,无论是PC还是移动Baiduspider,都不会对封禁对象进行抓取。之所以要强调这一点,是发现有些代码适配站点(同一个url,PC ua打开的时候是PC页,移动ua打开的时候是移动页),想通过设置robots的agent封禁达到只让移动Baiduspider抓取的目的,但由于PC和移动Baiduspider的agent都是Baiduspider,这种方法是非常不可取的。

好文打赏,给Ta鼓励
扫一扫用手机阅读本文
Tags:网站  抓取  如何  正确  识别  移动  
  • 相关搜索
图片推荐
    如何将HTTP站点转换成HTTPS、及后续问题

    如何将HTTP站点转换成HTTPS、及后续问题

    文/那年那月  https及https的本地测试环境搭建。asp.net结合https的代码实现http网站转换成https网站,以及之后遇到的问题等。  一:什么是https  SSL(Securi
    90后连续创业失败者的独白:被投资人骗,团队解散

    90后连续创业失败者的独白:被投资人骗,团队解散

    在我还是个媒体实习生的时候就认识李佳了,转眼3年过去,她仍然在创业的路上坚持。  不管媒体包装得多么光鲜,但创业并不是一件容易的事,她一路上跌跌撞撞吃了不少亏,她希望和大家分享自己的创业经验。同时,也
    qq兴趣部落一天引流4000微信粉丝实操经验

    qq兴趣部落一天引流4000微信粉丝实操经验

    现在很多站长喜欢写推广类的文章,我想主要原因是这类文章的受众多,比较讨好。这也导致一系列的副作用,很多的文章只是为了博取流量,可操作性很差,甚至是有些作者本人也从来没有实践过。你自己都不去或者不能实践
    LG G4 S或将搭载骁龙615处理器 本月或发布

    LG G4 S或将搭载骁龙615处理器 本月或发布

    【Yesky新闻频道消息】 不久前,有消息称,LG正计划为大家带来一款LG G4的衍生版LG G4 S。即将发布的LG G4 S又有了新消息。据悉该机将搭载高通骁龙615处理器,GPU采用Adreno
    阿里把开了一年的“美版天猫”卖了

    阿里把开了一年的“美版天猫”卖了

    [摘要]阿里巴巴将把11Main网上商城转让给纽约一家风险投资支持的电商企业OpenSky。    腾讯科技讯 阿里巴巴集团在美国整体上市的前夕,阿里启动了国际化战略。在国际化的第一站美国,阿里集团开
你是怎么知道非凡网赚网的?
  •   
  • 联系QQ 邮箱:976382653@qq.com 微信:976382653
    在线留言
    发布软文
    广告自助购
    文章调用
    常见问题
    保存到桌面