百度蜘蛛爬行原理

百度蜘蛛爬行原理

百度蜘蛛，是百度搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容，然后分门别类建立索引数据库，使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。

(1)通过百度蜘蛛下载回来的网页放到补充数据区，通过各种程序计算过后才放到检索区，才会形成稳定的排名，所以说只要下载回来的东西都可以通过指令找到，补充数据是不稳定的，有可能在各种计算的过程中给k掉，检索区的数据排名是相对比较稳定的，百度目前是缓存机制和补充数据相结合的，正在向补充数据转变，这也是目前百度收录困难的原因，也是很多站点今天给k了明天又放出来的原因。

(2)深度优先和权重优先，百度蜘蛛抓页面的时候从起始站点(即种子站点指的是一些门户站点)是广度优先抓取是为了抓取更多的网址，深度优先抓取的目的是为了抓取高质量的网页，这个策略是由调度来计算和分配的，百度蜘蛛只负责抓取，权重优先是指反向连接较多的页面的优先抓取，这也是调度的一种策略，一般情况下网页抓取抓到40%是正常范围，60%算很好，100%是不可能的，当然抓取的越多越好。

百度蜘蛛在从首页登陆后抓取首页后调度会计算其中所有的连接，返回给百度蜘蛛进行下一步的抓取连接列表，百度蜘蛛再进行下一步的抓取，网址地图的作用是为了给百度蜘蛛提供一个抓取的方向，来左右百度蜘蛛去抓取重要页面，如何让百度蜘蛛知道那个页面是重要页面?可以通过连接的构建来达到这个目的，越多的页面指向该页，网址首页的指向，副页面的指向等等都能提高该页的权重，地图的另外一个作用是给百度蜘蛛提供更多的链接来达到抓去更多页面的目的，地图其实就是一个链接的列表提供给百度蜘蛛，来计算你的目录结构，找到通过站内连接来构建的重要页面。

补充数据到主检索区的转变:在不改变板块结构的情况下，增加相关连接来提高网页质量，通过增加其他页面对该页的反向连接来提高权重，通过外部连接增加权重。如果改变了板块结构将导致seo的重新计算，所以一定不能改变板块结构的情况下来操作，增加连接要注意一个连接的质量和反向连接的数量的关系，短时间内增加大量的反向连接将导致k站，连接的相关性越高，对排名越有利。

应用提示：

第一，要想排名靠前，目标关键词应该完整匹配地出现在网页的前面。

第二，百度蜘蛛似乎更注重网站页面的层次结构。与Google相比，百度蜘蛛更加重视网站内部页面结构的层次，有点爬虫类的味道，越黑越深，它越是喜欢往里钻，不相信你做100个页面，做得再漂亮，只要链接没有层次，你最多就孤零零的被收录可怜的一点点东西。

第三，百度蜘蛛极为活跃，抓取网页的频率和数量都非常大。百度蜘蛛几乎每天都会访问你的新站，并且至少抓取几十个网页。大量捕获是百度的强项，其他任何搜索引擎都没办法相比。但是百度中文网页数目并不是最大的，百度蜘蛛抓取的频率和网页更新情况有关。天天更新的网站一定会吸引百度蜘蛛更频繁的访问，百度对天天更新的站最敏感，彻底换内容更敏感。

第四，百度并不被所谓的优化迷惑，Google对优化好像远远没有百度敏感，百度尤其反感所谓的优化，不知道百度是用什么方法识别网站优化的。我的看法是目前最"先进" 的优化方法，好像对百度没什么大的作用，大家都这么干了，机器人是有点死脑筋，但是百度那些IT也不是吃白饭的哈，要知道他是全球最先进的中文搜索老大，Google在中文搜索这块毕竟与百度还没得比。

第五，百度排名算法是以网页为基础，比较少关注整个网站的主题。联系到上一点，这说明百度排名算法中比较注重内部结构缺少完整的语义分析。所以一些目前比较认同的关于"site:"之间那几个所谓关系到搜索质量的东西，并不是百度蜘蛛所最敏感的。

第六，充分利用百度的一个最大的优势--收录速度快。