相信使用Uinx、Linux系统的您一定知道curl这个命令的使用,具体它是干嘛的,不懂得您可以去搜索引擎上搜索一下,详细的介绍你应该很轻松的获取到。“迷路的小爬虫”在这里为大家介绍的是为了解决网站内新产生页面的收录问题,要用到这个命令的使用方法,当然针对于使用windows环境下的用户。具体如下:
一、下载cURL命令安装包
如上图,入https://curl.haxx.se/download.html这个网址,滚动鼠标就就可以找到适合自己的系统的安装包,然后下载保存到本地硬盘
二、配置环境变量
1、解压您下载的压缩文件包,这里“迷路的小爬虫”根据自己的系统类型下载了对应的安装包,存放到了C盘,根据自己的需要存放到不同盘符据可以,“迷路的小爬虫”放到了本地的E盘下 如下图:
2、解压之后找到/bin/文件夹下的curl.exe文件,然后复制粘贴改文件的路径 如下图:
3、回到桌面右键我的电脑-属性,根据不同windows系统选择选项卡找到环境变量的配置按钮点击 如下图:
4、系统变量下点击新建一个系统变量,变量名自己取一个简单易记的,“迷路的小爬虫”习惯命名为“CURL_HOME”,变量值为步奏2中复制的路径,然后点击确定即可。如下图:
5、找到系统变量里的Path变量,然后把刚才命名的变量名,“迷路的小爬虫”这里是%CURL_HOME%复制粘贴到变量值中,注意这里是追加不是覆盖,要以分号间隔 如下图:
6、点击确定即可,然后复制curl.exe这个命令到c盘的系统路径下,“迷路的小爬虫”这里是C:\Windows\System32即可完成安装 如下图
7、测试curl命令
Win菜单下入cmd调出命令框入curl --help命令如果出现以下图例,则说明完成安装 如下图:
三、利用curl命令实现主动推送
1、新建一个urls.txt文件放到任意盘符下,“迷路的小爬虫”这里放到了E盘下,和curl安装包同一个路径 如下图:
2、在文件里找到您自己网站的url地址,按照一行一个复制粘贴进去,保存即可,如下图:
3、进入自己百度站长后台,验证自己的网站,然后找到链接提交选项卡,在右侧自动提交选项卡下有一个主动推送(实时)即可找到curl推送示例命令,然后复制 如下图:
4、打开命令框,通过命令找到urls.txt所在的路径,该文件“迷路的小爬虫”放到了E盘下,然后在命令框里粘贴刚才复制的curl推送命令,然后回车即可完成。如下图:
如上图红色框框里面显示已经推送成功。
总结:curl主动推送并不能保证网页一定被收录,再网站权重、网站结构和内容质量一定的情况之下,可以大大的提高网站页面收录效率,达到秒收也不是不可能,百度蜘蛛3.0时代,除了页面体量的提升,更注重的就是效率,所以给大家分享这个curl命令,希望对家能有帮助。
“迷路的小爬虫”个人微信公众账号:seopachong 欢迎关注!如遇到本篇文章所涉及到的问题会第一时间帮您解决
本篇文章由“迷路的小爬虫”手写原创,由非凡网赚网 08398.com 首发,转载请注明原创作者!