大家都知道sitemapXML文件的使用,也知道在网站里面增加自动推送的js代码,这些都是百度站长后台提供的url地址提交方法,可以让搜索引擎高效、完整的爬取网站的全部链接地址,今天“迷路的小爬虫”给大家分享的是sitemaps索引文件的使用以及案例成效。
一、为什么要用到sitemaps索引文件?
当一个网站的规模、网站页面体量达到一定值的时候,就会无限的生成sitemapXML文件,现在的开源框架大部分都有sitemap自动生成功能,还是比较方便的。但是站长就需要时刻关注着这些sitemapXML文件,把他们的路径记录下来再到各个站长平台后台去提交,工作很easy,但是很繁琐,所以就需要一个索引文件去代替这些繁琐的提交步奏。sitemaps索引文件就可以解决很多站长的烦恼,只需要让技术把生成的sitemapXML文件按照sitemaps索引文件的格式定时写入这个文件即可,搜索引擎的官方文档里面已经认可了sitemaps文件的使用规范,具体的sitemaps文件格式以及sitemapXML文件数量要求以及大小限制,均可以去百度站长学院获取,这里不再详细阐述!
二、Sitemaps索引文件的使用方法
之前已经说过Sitemaps索引文件的格式可以去站长学院获取,他的格式都是统一的。一个网站可以根据网站结构以及内容定位的需要划分多个sitemaps索引文件,比如你的网站当中一个产品频道、一个资讯频道、一个问答频道,这样你可以生成三个sitemaps索引文件放到服务器不同的目录中,路径木有觉对的要求,所以根据你自己的需要生成。随着网站的页面数量越来越多,生成的sitemapXML文件也会越来越多,所以清晰的划分sitemaps索引文件从长远来看还是很有必要的,毕竟文件的大小和数量都是由规范约束的。那么生成的sitemaps索引文件如何被搜素引擎爬虫自动的去抓取数据呢?其实很简单,你只需要把生成的sitemaps索引文件放到robots文件即可,这个文件的作用是干嘛的这里不再赘述,示例如下图:
三、Sitemaps索引文件使用案例及成效
这里主要提供一个“迷路的小爬虫”目前所服务的平台类型网站的问答频道sitemaps索引文件使用案例,如下图:
对于这个问答频道http://www.bxd365.com/qa/“迷路的小爬虫”提供了一个专有的sitemaps索引文件,由于问答词条数量庞大,所以从长远规划,单独列出一个sitemaps索引文件还是非常有必要的。
效果如下图:
大概从2016年3月份执行了这种方案以来,效果也是非常明显,当然也不要希望于使用了这种方法,网站页面的索引量就会突然飙升,持续的优化是网站被搜索引擎索引的关键。看到这里你还在等什么,赶快实践起来吧,你比别人多迈出一步,成功就会离你更近一点点。
Sitemaps索引文件其实已经出现好多年了,但是随着SEO行业的发展,站长们也在慢慢的忽略了他的成效,其实成功都是一点点堆积起来,不及跬步无以至千里,脚踏实地的运作,成功就在不远处!
“迷路的小爬虫”个人微信公众账号:seopachong 欢迎关注!如遇到本篇文章所涉及到的问题会第一时间帮您解决
本篇文章由“迷路的小爬虫”手写原创,由非凡网赚网 08398.com 首发,转载请注明原创作者!