搜索引擎抓取网页原理分析

搜索引擎抓取网页原理分析

搜索引擎优化（SEO）是搜索引擎有好的收录网页的过程，适当的SEO有利于蜘蛛爬行你的网站，使你的内容符合搜索引擎算法，以便确认它与关键词高度相关。

优化的目的就是使网页的内容便于蜘蛛理解，下面我就以百度新收录的一篇内容来进行说明，我以一个完整标题进行搜索，其目的是能反映出更多关键词在百度自然搜索的结果页面，能更好的说明搜索引擎是如何抓取你的网页的。

（图一：百度最常见的自然搜索结果列表）

SEOer通常关注的是网页主体部分的自然搜索结果，百度和Google搜索结果页面大致相同，搜索结果页面通常为顶部、右侧、尾部均为广告链接，热门关键词会有广告，而我用这么长的词语就属于冷门词语，没有广告。

页面标题很重要

如图一所示，搜索引擎通常抓取的页面标题是HTML代码中的标题Title部分，所以说页面标题是写法对搜索引擎排名有重要的意义，通常页面标题Title的优化格式为：文章标题——栏目标题——网站标题。

它不一定只展示description

而第二行的描述部分通常会截取description部分，但更多时候会抓取正文的前200字，如果你要说具体显示description还是截取正文，是和用户搜索的关键词有关。比如图一中，百度截取了

中的关键词，因为卢松松博客的中有“互联网”这个关键词。下图能直观的反应出这些问题。

（图二：搜索引擎抓取的关键词分布一览）

把图一和图二结合起来看，我们就能清楚的分辨出，百度到底展示了网页的哪些部分，title、

、截取正文和内容部分的关键词。;

用户搜索的关键词在搜索结果中都用红色高亮显示，用户可以非常迅速地看到该网页是否是自己想要的，通常百度和Google的搜索结果类似，我在这里就不多说了。

关键词的密度与分布

通过上面两张图，可以看出我搜索的有两大关键词“互联网”和“香港人”，通过图二我们可以看出，这两个关键词在我列出的6大部分中都有显示，它们均匀的分布在内容的各个部分，尤其是标题和title部分。当然由于我搜索关键词的问题，把整个标题都搜了一遍，所以分布的比较均匀。

而关键词的密度，至少我从来就没有在意过，如果在写文章的同时还考虑关键词密度的话是很累的。

我想，通过以上简单分析，大家应该能大致了解搜索引擎抓取你网页的什么部分了吧？

本文转自百度,转载人站长!