当前位置:首页php爬虫:百级别知乎用户数据爬取与分析 举报文章

php爬虫:百级别知乎用户数据爬取与分析

作者:admin    来源:用户投稿    时间:2015.10.3   

  代码托管地址:https://github.com/hhqcontinue/zhihuSpider

  文/Hector

  这次抓取了110的用户数据,数据分析结果如下:

  

PHP爬虫 数据抓取 数据分析 爬虫抓取数据

  开发前的准备

  安装linux系统(Ubuntu14.04),在VMWare虚拟机下安装一个Ubuntu;

  安装PHP5.6或以上版本;

  安装curl、pcntl扩展。

  使用PHP的curl扩展抓取页面数据

  PHP的curl扩展是PHP支持的允许你与各种服务器使用各种类型的协议进行连接和通信的库。

  本程序是抓取知乎的用户数据,要能访问用户个人页面,需要用户登录后的才能访问。当我们在浏览器的页面中点击一个用户头像链接进入用户个人中心页面的时候,之所以能够看到用户的信息,是因为在点击链接的时候,浏览器帮你将本地的cookie带上一齐提交到新的页面,所以你就能进入到用户的个人中心页面。因此实现访问个人页面之前需要先获得用户的cookie信息,然后在每次curl请求的时候带上cookie信息。在获取cookie信息方面,我是用了自己的cookie,在页面中可以看到自己的cookie信息:

  

PHP爬虫 数据抓取 数据分析 爬虫抓取数据

  一个个地复制,以"__utma=?;__utmb=?;"这样的形式组成一个cookie字符串。接下来就可以使用该cookie字符串来发送请求。

  初始的示例:

    $url = 'http://www.zhihu.com/people/mora-hu/about'; 
    //此处mora-hu代表用户ID    $ch = curl_init($url); 
    //初始化会话    curl_setopt($ch, CURLOPT_HEADER, 0);    
    curl_setopt($ch, CURLOPT_COOKIE, $this->config_arr['user_cookie']);  
    //设置请求COOKIE    curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);    
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
     //将curl_exec()获取的信息以文件流的形式返回,而不是直接出。    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);     
     $result = curl_exec($ch);    
    return $result;  //抓取的结果
好文打赏,给Ta鼓励
扫一扫用手机阅读本文
Tags:百万  级别  用户  用户数  户数  数据  分析  
  • 相关搜索
图片推荐
    如何玩转校园市场:学小米,培养死忠粉,打造硬文化

    如何玩转校园市场:学小米,培养死忠粉,打造硬文化

    摘要:在品牌文化的长期渗透和感召下,一旦企业在校园里拥有了数百万计的死忠粉丝,他们必将成为点燃全国市场的星星之火,为企业带来更多的意想不到的价值和收获。    校园市场历来是必争之地。特别是大学校园市
    李开复:创业中要善用幂定律

    李开复:创业中要善用幂定律

    写在前面的话:2015年,创新工场根据5年来的积累,愿意更加开放合作,开放更多的资源,帮助更多的创业者。为更多的创业者提供免费的创业辅导,也希望将投融资、财务、法务、商业、市场商务、HR等一系列的投资
    网站内链优化方法提升网站收录和排名

    网站内链优化方法提升网站收录和排名

    谈到网站SEO,大部分会想到的是关键词。没错标准SEO型的网站,每个页面都会有相应的标题、关键词,且具有唯一性。内链的作用是把网站的页面链接起来,合理的内链利于搜索引擎爬虫体验,从而利于网站收录。内链
    百度首页 整改之后的优化操作前篇

    百度首页 整改之后的优化操作前篇

    前言  从去年的医疗贴吧事件到今年的魏则西事件,有关百度的新闻层出不穷,鉴于对网络信息安全和环境的整改,百度也做出了相应的调整,目前主要有三大方面的调整:广告服务、排名机制、安全保障,截止到月底,相应
    在网站建设类型中常见的几种建站类型

    在网站建设类型中常见的几种建站类型

    根据多年的网站建设经验,为网站建设类型主要归类下面几类,可以让很多人可以大概的了解网站类型大概有哪些,下面是笔者的简单描述,更详细的有待补充。    网站建设常见的几种类型  在与客户交谈或我们在专业
    2014年万网(阿里云)网站备案经验分享

    2014年万网(阿里云)网站备案经验分享

    导读:今年年前年后各在阿里云备案了2次,工信部的政策是天天在变,特别是在今年互联网严打的年代,年前年后审核的内容都可能不一样。首先,备案本身是免费的,顶多就出点邮费邮寄资料而已,但还是很多人乐意花几百
    硬广告不再吃香 现在的中国品牌更爱内容营销

    硬广告不再吃香 现在的中国品牌更爱内容营销

    你一定对冠名中国好声音、爸爸去哪儿的那几个品牌感到不陌生。    第三季《爸爸去哪儿》中伊利QQ秀的植入 图片来源:网络  先来做个小测验。请回答《中国好声音》、《我是歌手》以及《爸爸去哪儿》的冠名品
你是怎么知道非凡网赚网的?
  •   
  • 联系QQ 邮箱:976382653@qq.com 微信:976382653
    在线留言
    发布软文
    广告自助购
    文章调用
    常见问题
    保存到桌面