超链接检测

课程设计III设计说明书网页中超链检测程序设计学生姓名学号班级成绩指导教师数学与计算机科学学院2014 年 3 月 7 日课程设计任务书2013 —2014 学年第一学期课程设计名称：课程设计三课程设计课程设计题目：网页中超链检测程序设计完成期限：自2014 年9 月2日至2014 年9 月13日共 2 周设计内容：1. 任务说明设计一个程序，给一个指定URL，分析该URL所在域中所有网页中的超链接情况:本域内链接、外域链接、页内链接、死链（链接目标不存在）等情况。

2.要求（1）了解网络爬虫的架构和工作原理，实现网络爬虫的基本框架；（2）开发平台采用JDK 1.60 eclipse集成开发环境。

（3）要求按时按量完成所规定的实验内容；（4）界面设计要求通用性强、具有实用性；指导教师：教研室负责人：课程设计评阅摘要设计了一个基于宽度优先的爬虫程序，本程序采用java编程语言，开发平台采用JDK 1.60 eclipse集成开发环境。

可实现检测网页中超链接，是一种自动搜集互联网信息的程序，可以搜集某一站点的URL，并将搜集到的URL存入文件。

关键词：网络爬虫；JAVA；超链接目录1 绪论 (1)2 网络爬虫 (2)3 对URL的认识 (4)4 通过URL抓取网页 (5)5 算法分析及程序实现 (7)6 总结 (14)1 绪论随着网络的迅速发展，万维网成为大量信息的载体，万维网已经成为人们获取信息的重要渠道，如何高效地提取并利用这些信息成为一个巨大的挑战。

搜索引擎(Search Engine)，例如传统的通过搜索引擎百度，Yahoo和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。

但是，这些通用性搜索引擎也存在着一定的局限性，如：(1)统一的返回不能满足不同用户的检索需求。

(2)搜索引擎提高覆盖面的目标与膨胀的网络信息之间的矛盾日益加深。

(3)搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。

为了解决上述问题，定向抓取相关网页资源的主题爬虫应运而生。

主题爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。

传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。

聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。

然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。

另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

本文通过JAVA语言实现了一个基于宽度优先遍历算法的爬虫程序。

通过实现此爬虫程序可以定点搜集某一站点的URL，可以分析出网页中的超链接情况:本域内链接、外域链接、页内链接、死链（链接目标不存在）等情况2 网络爬虫2.1 基本原理爬虫从一个或若干初始网页的URL 开始，通过分析该URL 的源文件，提取出新的网页链接，继而通过这些链接继续寻找新的链接，这样一直循环下去，直到抓取并分析完所有的网页为止。

当然这是理想状态下爬虫的执行过程，但是实际上要抓取Internet上所有的网页是不可能完成的。

从目前公布的数据来看，最好的搜索引擎也只不过抓取了整个Internet40%的网页。

这有两个原因，其一是网络爬虫设计时的抓取技术瓶颈造成的，无法遍历所有的网页，很多网页链接不能从其他网页中得到。

其二是存储技术和处理技术造成的，如果按照每个页面的平均的大小是20K，那么100亿个页面的大小就是200000G，现在的存储技术来说是个挑战。

2.2爬行策略深度优先搜索策略是一种在开发Spider 的早期使用得较多的方法，是指网络蜘蛛会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。

当不再有其他超链可选择时，说明搜索已经结束。

图 2.1 宽度优先遍历图2.1所示的宽度优先遍历的访问顺序为：A->B->C->D->E->F->H->G->I把互联网看成一个“超图”，以采用宽度优先遍历的方式进行访问。

实际的爬虫项目是从一系列的种子链接开始的。

所谓种子链接，就好比宽度优先遍历中的种子节点(如图2.1中的 A 节点)一样。

实际的爬虫项目中种子链接可以有多个，而宽度优先遍历中的种子节点只有一个。

整个的宽度优先爬虫过程就是从一系列的种子节点开始，把这些网页中的“子节点”(也就是超链接)提取出来，放入队列中依次进行抓取。

被处理过的链接需要放入一张表(通常称为 Visited 表)中。

每次新处理一个链接之前，需要查看这个链接是否已经存在于Visited 表中。

如果存在，证明链接已经处理过，跳过，不做处理，否则进行下一步处理。

实际的过程如图 2.2 所示。

图 2.2 宽度优先遍历开始的 URL 地址是爬虫系统中提供的种子 URL(一般在系统的配置文件中指定)。

当解析这些种子URL 所表示的网页时，会产生新的URL(比如从页面中的<a href=“”中提取出 这个链接)。

然后，进行以下工作：(1) 把解析出的链接和 Visited 表中的链接进行比较，若 Visited 表中不存在此链接，表示其未被访问过。

(2) 把链接放入 TODO 表中。

(3) 处理完毕后，再次从 TODO 表中取得一条链接，直接放入 Visited 表中。

(4) 针对这个链接所表示的网页，继续上述过程。

如此循环往复。

3 对URL的认识爬虫最主要的处理对象就是URL，它根据URL地址取得所需要的文件内容，然后对它进行进一步的处理。

因此，准确地理解URL对理解网络爬虫至关重要。

URL：统一资源定位符，是Internet 上描述信息资源的字符串。

URL可以用一种统一的格式来描述各种信息资源，包括文件、服务器的地址和目录等。

URL 的格式由三部分组成：第一部分访问资源的命名机制；第二部分存放资源的主机名；第三部分资源自身的名称，由路径表示。

第一部分和第二部分用“://”符号隔开，第二部分和第三部分用“/”符号隔开。

第一部分和第二部分是不可缺少的，第三部分有时可以省略。

3.1 HTTP 协议的URL 示例使用超级文本传输协议HTTP，提供超级文本信息服务的资源。

例：/channel/welcome.htm。

其计算机域名为。

超级文本文件(文件类型为.html)是在目录/channel 下的welcome.htm。

这是中国人民日报的一台计算机。

例：/talk/talk1.htm。

其计算机域名为。

超级文本文件(文件类型为.html)是在目录/talk 下的talk1.htm。

3.2 文件的URL用URL表示文件时，服务器方式用file表示，后面要有主机IP 地址、文件的存取路径(即目录)和文件名等信息。

有时可以省略目录和文件名，但“/”符号不能省略。

例：file:///pub/files/foobar.txt。

代表存放在主机 上的pub/files/目录下的一个文件，文件名是foobar.txt。

例：file:///pub。

代表主机 上的目录/pub。

例：file:///。

代表主机 的根目录。

4 通过URL抓取网页所谓网页抓取，就是把 URL 地址中指定的网络资源从网络流中读取出来，保存到本地。

类似于使用程序模拟 IE 浏览器的功能，把 URL 作为 HTTP 请求的内容发送到服务器端，然后读取服务器端的响应资源。

Java 语言是为网络而生的编程语言，它把网络资源看成是一种文件，它对网络资源的访问和对本地文件的访问一样方便。

它把请求和响应封装为流。

因此我们可以根据相应内容，获得响应流，之后从流中按字节读取数据。

构造一个url对象，可以通过获得的 URL 对象来取得网络流，进而像操作本地文件一样来操作网络资源。

在实际的项目中，网络环境比较复杂，需要处理 HTTP 返回的状态码，设置 HTTP 代理，处理 HTTPS协议等工作。

为了便于应用程序的开发，实际开发时常常使用 Apache 的HTTP 客户端开源项目——HttpClient。

它完全能够处理 HTTP 连接中的各种问题，使用起来非常方便。

只需在项目中引入 HttpClient.jar 包，就可以模拟 IE 来获取网页内容。

串方式获取返回的内容。

这也是网页抓取所需要的内容。

通常需要把返回的内容写入本地文件并保存。

最后还要关闭网络连接，以免造成资源消耗。

HTTP 状态码表示 HTTP 协议所返回的响应的状态。

比如客户端向服务器发送请求，如果成功地获得请求的资源，则返回的状态码为 200，表示响应成功。

如果请求的资源不存在，则通常返回 404 错误。

HTTP 状态码通常分为 5 种类型，分别以 1～5 五个数字开头，由 3 位整数组成。

1XX 通常用作实验用途。

这一节主要介绍 2XX、3XX、4XX、5XX 等常用的几种状态码，如表 4.1 所示。

图 4.1 HTTP状态码说明当返回的状态码为 5XX 时，表示应用服务器出现错误，采用简单的丢弃处理就可以解决。

当返回值状态码为 3XX 时，通常进行转向，读取新的 URL 地址。

当响应状态码为 2XX 时，根据表 1.1 的描述，我们只需要处理 200 和 202 两种状态码，其他的返回值可以不做进一步处理。

200 的返回状态码是成功状态码，可以直接进行网页抓取。

202 的响应状态码表示请求已经接受，服务器再做进一步处理5 算法分析及程序实现爬虫过程中使用一个集合，根据宽度优先算法遍历网页中所有的节点，通过过滤，得到所有的超链接节点，然后将链接节点放入集合中，再遍历整个集合，依次显示到界面、保存到文件中作为索引。

图5.1 程序流程图程序实现：首先，定义图5.1中所描述的“URL 队列”，这里使用一个LinkedList 来实现这个队列。

public class Queue {//使用链表实现队列private LinkedList queue = new LinkedList();//入队列public void enQueue(Object t) {queue.addLast(t);}//出队列public Object deQueue() {return queue.removeFirst();}//判断队列是否为空public boolean isQueueEmpty() {return queue.isEmpty();}//判断队列是否包含tpublic boolean contians(Object t) {return queue.contains(t);}public boolean empty() {return queue.isEmpty();}}除了URL 队列之外，在爬虫过程中，还需要一个数据结构来记录已经访问过的URL。