网络爬虫的设计

网络爬虫的设计与实现

王　娟，吴金鹏

（贵州民族学院计算机与信息工程学院，贵州贵阳５５００２５

）摘　要：搜索引擎技术随着互联网的日益壮大而飞速发展。作为搜索引擎不可或缺的组成部分，网络爬虫的作用显

得尤为重要，它的性能直接决定了在庞大的互联网上进行网页信息采集的质量。设计并实现了通用爬虫和限定爬虫。

关键词：网络爬虫；通用爬虫；限定爬虫

中图分类号：ＴＰ３９３ 文献标识码：Ａ 文章编号：１６７２－７８００（２０１２）００４－０１３６－

０２作者简介：王娟（１９８３－），女，湖南邵东人，硕士，贵州民族学院讲师，研究方向为数据挖掘、网络安全；吴金鹏（１９８９－）

，男，山西晋中人，贵州民族学院本科生，研究方向为计算机科学与技术。

０　引言

网络爬虫也称网络蜘蛛，它为搜索引擎从万维网上下载网页，并沿着网页的相关链接在Ｗｅｂ中采集资源，

是一个功能很强的网页自动抓取程序，

也是搜索引擎的重要组成部分，爬虫设计的好坏直接决定着整个搜索引擎的性能及扩展能力。

网络爬虫按照系统结构和实现技术，大致可以分为：通用网络爬虫、主题网络爬虫、增量式网络爬虫、深层网络爬虫。实际应用中通常是将几种爬虫技术相结合。

１　通用爬虫的设计与实现

１．１　工作原理

通用网络爬虫根据预先设定的一个或若干初始种子ＵＲＬ开始，以此获得初始网页上的ＵＲＬ列表，

在爬行过程中不断从ＵＲＬ队列中获一个个的ＵＲＬ，进而访问并下载该页面。页面下载后页面解析器去掉页面上的ＨＴＭＬ标记后得到页面内容，将摘要、ＵＲＬ等信息保存到Ｗｅｂ数据库中，同时抽取当前页面上新的ＵＲＬ，保存到ＵＲＬ队列，直到满足系统停止条件。其原理如图１所示。１．２　爬行策略

为提高工作效率，通用网络爬虫会采取一定的爬行策略优先爬取重要的网页。常用的有深度优先和宽度优先策略。宽度优先算法的设计和实现相对简单，可以覆盖尽可能多的网页，是使用最广泛的一种爬行策略。

一个爬虫如何利用宽度优先遍历来抓取网页呢？在爬虫中，每个链接对应一个ＨＴＭＬ页面或者其它文件，通

常将ＨＴＭＬ页面上的超链接称为“子节点”

。整个宽度优先爬虫就是从一系列的种子节点开始，把这些网页中的

“子节点”提取出来，放到队列中依次进行抓取。被访问过的节点放入到另一张表中，

过程如图２所示

。

图１　通用爬虫工作流程 图２　宽度优先爬虫过程

１．３　爬虫队列设计

爬虫队列设计是网络爬虫的关键。因为爬虫队列要

存储大量的ＵＲＬ，所以依靠本地链表或者队列肯定是不够的，应当寻找一个性价比高的数据库来存放ＵＲＬ队列，Ｂｅｒｋｅｌｅｙ　

ＤＢ是目前一种比较流行的内存数据库。根据爬虫的特点，Ｈａｓｈ表成为了一种比较好的选择。但是在使用Ｈａｓｈ存储ＵＲＬ字符串的时候常用ＭＤ５算法来对ＵＲＬ进行压缩。在实现了爬虫队列之后就要继续实现Ｖｉｓｉｔｅｄ表了。如何在大量的ＵＲＬ中辨别哪些是新的、哪些是被访问过的呢？通常使用的技术就是布隆过滤器（Ｂｌｏｏｍ　Ｆｉｌｔｅｒ）。利用布隆过滤器判断一个元素是否在集合中是目前比较高效实用的方法。１．４　设计爬虫架构

爬虫框架结构如图３所示

。

图３　爬虫结构

其中：①ＵＲＬ　Ｆｒｏｎｔｉｅｒ含有爬虫当前准备抓取的ＵＲＬ；②Ｄ

ＮＳ解析模块用来解析域名（根据给定的ＵＲＬ决定从哪个Ｗｅｂ获取网页）；③解析模块提取文本和网页的链接集合；④重复消除模块决定一个解析出来的链接是否已经在ＵＲＬ　

Ｆｒｏｎｉｅｒ或者是否最近下载过。下面通过实验来比较一下我们设计的爬虫抓取网页与原网页的对比，

见图４、图５

。

图４　原网页 图５　抓取网页

通过比较可以发现，由于原网页有动画等多媒体元素，虽然爬虫无法抓取下来全部内容，但基本上是一个完整的爬虫。

２　限定爬虫的设计与实现

限定爬虫就是对爬虫所爬取的主机的范围作一些限制。通常限定爬虫包含以下内容：①限定域名的爬虫；②限定爬取层数的爬虫；③限定ＩＰ的抓取；④限定语言的抓取。

限定域名的抓取，是一种最简单的限定抓取，只需要根据当前ＵＲＬ字符串的值来作出限定即可。

限定爬虫爬取的层次要比限定域名更复杂。限定ＩＰ是限定抓取中最难的一部分。通常分为限定特定ＩＰ和限定某一地区的ＩＰ。限定特定ＩＰ抓取较为容易，只要通过ＵＲＬ就可以获得主机ＩＰ地址，如果主机ＩＰ在被限制的

列表中就不抓取。否则正常工作。

想要限定ＩＰ抓取，首先要根据主机字符串获得ＩＰ地址。下面我们通过实验来得到ＩＰ地址：

贵州民族学院：

主机域名：ｗｗｗ．ｇ

ｚｎｃ．ｅｄｕ．ｃｎＩＰ地址：２１０．４０．１３２．８

贵州大学：

主机域名：ｗｗｗ．ｇ

ｚｕ．ｅｄｕ．ｃｎＩＰ地址：２１０．４０．０．５８根据ＵＲＬ得到ＩＰ地址之后，就要根据ＩＰ地址对某一地区的ＩＰ作出限制。但是需要有一个ＩＰ与地区对应的数据库，

网上很多这样的数据库都是收费的，在此我们使用的是腾讯公司推出的一款免费数据库“ＱＱＷｒｙ．ｄａｔ”，只要输入ＩＰ地址就可以查到对应ＩＰ地址所在的区域。

输入：２１０．４０．０．５８输出：

贵州省贵阳市：贵州大学输入：２１０．４０．１３２．８输出：

贵州省贵阳市：贵州民族学院

根据ＩＰ地址制作一张列表，将限制地区的ＩＰ地址写入列表，爬虫如果检测到要抓取的ＩＰ地址属于该列表，就放弃抓取，这样一个限定爬虫就完成了。

３　结束语

本文介绍了爬虫的工作原理，重点介绍了通用爬虫和限定爬虫的设计及实现，并通过实验证明本文设计的爬虫可以达到预期效果。

参考文献：

［１］　孙立伟，

何国辉，吴礼发．网络爬虫技术的研究［Ｊ］．电脑知识与技术，２０１０（１５）．

［２］　于成龙，

于洪波．网络爬虫技术研究［Ｊ］．东莞理工学院学报，２０１１（３）．

［３］　罗刚．自己动手写搜索引擎［Ｍ］．北京：电子工业出版社，２００９．［４］　唐波．网络爬虫的设计与实现［Ｊ］．电脑知识与技术，２００９（１１）．［５］　龚勇．

搜索引擎中网络爬虫的研究［Ｄ］．武汉：武汉理工大学，２０１０．（责任编辑：杜能钢）

Ｔｈｅ　Ｄｅｓｉｇｎ　ａｎｄ　Ｉｍｐ

ｌｅｍｅｎｔａｔｉｏｎ　ｏｆ　Ｗｅｂ　ＣｒａｗｌｅｒＡｂｓｔｒａｃｔ：Ｗｉｔｈ　ｔｈｅ　ｇｒｏｗｉｎｇ　ｏｆ　Ｉｎｔｅｒｎｅｔ，ｓｅａｒｃｈ　ｅｎｇｉｎｅ　ｔｅｃｈｎｏｌｏｇｙ　

ｄｅｖｅｌｏｐｓ　ｒａｐｉｄｌｙ．Ａｓ　ａｎ　ｉｎｄｉｓｐｅｎｓａｂｌｅ　ｐａｒｔ　ｏｆ　ｓｅａｒｃｈ　ｅｎ－ｇｉｎｅ，ｗｅｂ　ｃｒａｗｌｅｒ　ｉｓ　ｐａｒｔｉｃｕｌａｒｌｙ　ｉｍｐｏｒｔａｎｔ，ｉｔｓ　ｐｅｒｆｏｒｍａｎｃｅ　ｄｉｒｅｃｔｌｙ　ｄｅｔｅｒｍｉｎｅｓ　ｔｈｅ　ｑｕａｌｉｔｙ　ｏｆ　ｇａｔｈｅｒｉｎｇ　ｗｅｂｐａｇｅ　ｉｎｆｏｒｍａ－ｔｉｏｎ　ｉｎ　ｌａｒｇｅ　Ｉｎｔｅｒｎｅｔ．Ｔｈｉｓ　ｐａｐｅｒ　ｄｅｓｉｇｎｓ　ａｎｄ　ｉｍｐｌｅｍｅｎｔｓ　ｇ

ｅｎｅｒａｌ　ｃｒａｗｌｅｒ　ａｎｄ　ｌｉｍｉｔａｔｉｖｅ　ｃｒａｗｌｅｒ．Ｋｅｙ　

Ｗｏｒｄｓ：Ｗｅｂ　Ｃｒａｗｌｅｒ；Ｇｅｎｅｒａｌ　Ｃｒａｗｌｅｒ；Ｌｉｍｉｔａｔｉｖｅ　Ｃｒａｗｌｅｒ·

７３１·第４期 王　娟，吴金鹏：网络爬虫的设计与实现