下一代互联网技术-2015试卷李楚煌

深圳大学期末考试试卷 开/闭卷 综述报告 A/B 卷 课程编号 1502320001 课程名称 下一代互联网技术 学分 2.5 命题人(签字) 崔来中 审题人(签字) 年 月 日 课程综述报告由个人独立完成。

要求学生从教师的授课专题，包括： （1） 下一代互联网过渡技术（翻译技术和隧道技术） （2） 云计算（资源调度、存储、安全） （3） 社交网络（推荐、影响力分析、传播模型） （4） 物联网（无线传感器网络、节能技术） （5） 搜索技术（爬虫技术、图片搜索、语义搜索） （6） P 2P （文件下载、流媒体分发） （7） 大数据处理与分析技术（网络与机器学习） （8） 多媒体网络（多媒体网络与SDN 、流媒体与机器学习） （9） 软件定义网络（SDN 与安全、SDN 与流量优化、SDN 与网络管理） 选择一个专题中的具体技术问题（上述括号内为推荐的问题内容）作为综述报告主题，综述报告名称自拟，参照附件一“综述报告格式模板”与附件二“综述报告写作指导完成综述报告”；评分标准见附件三。

提交的课程综述报告要符合深圳大学相关的格式规范。

第17周提交课程综述报告电子版到blackboard 系统，纸质版交到任课老师处。

附件一综述报告格式模板深圳大学考试答题纸(以论文、报告等形式考核专用)二○一～二○一学年度第学期课程编号1502320001课程名称下一代互联网技术主讲教师崔来中评分学号2013150383 姓名李楚煌专业年级大三网络工程01题目：网页搜索中爬虫技术的若干研究1.前言在21世纪互联网高速发展的背景下，搜索引擎在人们生活中有着举足轻重的作用，而网络爬虫是搜索引擎中的重要的信息采集器，是搜索引擎技术的核心部分。

本文是对爬虫技术在现今网络环境中出现不同的问题、漏洞提出一些针对性的探究方法，并对各种方法进行实验分析，主要研究分析工作如下: 网络爬虫中的核心技术部分，即网络爬虫系统的多线程设计与实现，详细介绍网络爬虫的概念及信息分类涉及到的算法，技术要点，并探讨实现对漏洞平台当中的爬虫技术的聚焦。

网络爬虫的核心在于，以端口接通为设计基础，依据HTTP协议，使用SOCKET 套接字相关函数向服务器端发送HTTP请求，得到目标URL对应的网页内容，再从该网页提取出未爬取过的URL，将该URL重新作为源URL进行新的一轮向下爬取搜索工作，按照各种优先算法向下爬行，从而完成网络爬虫系统的爬行工作。

在互联网中有着很多协议，它们彼此联系着，支持着许多网络程序的运行。

网络爬虫系统是基于SOCKET协议的，而SOCKET协议的基础建立在TCP/IP协议之上。

由此，网络爬虫是基于最原始的协议，依靠算法技术，组织分布式系统，非常有潜力进行强有力的数据探索与挖掘。

既然网络爬虫的优势潜能如此巨大，接下来我会详细讨论近期我对这个技术的若干研究。

2.阅读文献概述基于此次希望探讨的研究方向：网络爬虫，在中文文献方面，主要有以下阅读：多线程进行网络爬虫的过程优化,基于网络爬虫的Web信息采集技术，爬虫对漏洞管理平台核心帮助。

在英文文献方面主要有：《A Cloud-based Web Crawler Architecture》 ,《A Spatial Web Crawler for Discovering》,《Design of improved focused web crawler》。

这几篇文献探究的层次在于如何对信息进行有效地采集、采集的量如何够快够大、以漏洞管理平台为切口，看爬虫技术有哪方面的发展潜力。

多线程爬虫又可以理解为分布式爬虫，主要阅读的部分有分布式网络爬虫结构设计，其中又细分为爬行节点的结构设计，控制节点的结构设计。

分布式网络爬虫的关键技术在于，种子集合的优化选取，分布函数的选择。

有这些分布式策略来带领多线程下载。

而对网络信息的阅读，在于有效采集，需要对信息检索引擎有所划分：全文检索、目录索引型检索、元检索。

再深入到网络爬虫的搜索策略，有深度优先搜索策略、宽度优先搜索策略、聚焦搜索策略。

针对信息的实质内容，爬虫有其特色性质：布告栏的数据分类及并联式关联、视频的可预览及真实寻址、论坛的自动动态更新实现。

对漏洞平台的爬虫聚焦技术的阅读，首先了解的是在漏洞平台这个领域，爬虫子模块的划分：爬虫接口模块、配置文件解析模块、网页爬取模块、网页解析模块、URL过滤去重模块、漏洞信息保存模块。

在漏洞平台管理这个框架下，对爬虫效率如何改进、URL相关内容如何改进有所阅读了解。

此外，《A Cloud-based Web Crawler Architecture》主要论述的网络爬虫为代表的应用程序，如何在网络上更好得进行有趣的信息的查找。

因为网路上有巨量的索引的链接或非结构化的数据，这需要网络爬虫去应对这些挑战：链接和高密度计算的复杂性。

在这种背景下，该文献提供了云计算模式，支持弹性的资源化和非结构化的数据，并提供读写加注功能。

采用云计算的功能和MapReduce编程技术，可以使我们能够分布式抓取网页和存储在云计算中所发现的Azure表。

《A Spatial Web Crawler for Discovering》，这篇文献其实与单纯地谈论爬虫技术不一样，一般地讨论爬虫技术，是如何在物理、软件层面提高单体计算机的速度、分布式地进行搜索，又或者对URL等算法策略的优化。

而这篇文献谈论的可以归属另一个学科，它围绕地缘服务器提供的地理特征，进行空间信息的划分，使用空间的数据源。

核心来说，这是一个对地理领域信息系统的研究。

地理空间数据在本质上常常动态并在异构的形式提供，网上空间数据是一个基于地理的形式进行发布的。

空间网络爬虫专注于地理空间在地缘服务器上的功能。

《Design ofimproved focused web crawler》这篇文献讲述的东西比较细，是对URL和锚文本的语义性质的研究分析。

它提出了一种技术，偏重于基于语义重点的网络履带的分析探讨。

3.课题研究方向的现状与发展趋势研究方向主要有以下六个分支: 多线程（分布式）进行网络爬虫的过程优化,基于网络爬虫的Web信息采集技术，爬虫对漏洞管理平台核心帮助，云计算模式这种支持弹性的资源化和非结构化的数据的爬虫技术，空间网络爬虫这样专注于地理空间在地缘服务器上研究的新科技，锚文本的语义性质的研究分析。

分布式网络爬虫的理论基础：它由多台PC机组成，其中一台是控制节点，其他为爬行节点，控制节点负责维护所有结点的信息，对所有结点的信息进行同步，同时在控制节点上进行结点的添加和删除。

它分为5个模块：URL分析模块、下载模块、网页分析模块、结点通信模块、URL分配模块。

分布式网络爬虫的方法可以具体到5个模块来分析探讨。

URL分析模块是接受来自分布式模块分配的URL任务，判断该URL是否被访问过。

访问过，进队列；没访问过，忽略。

那在分布式网络爬虫中与单台PC有所不同的是：单台PC机只需要对URL地址进行记录，还有域名转换，计算复杂度低；分布式网络爬虫中对需要IP与域名转换的计算量大，复杂度高。

下面具体解释：维护URL队列，在每个节点维护一个本节点将要访问的URL队列模块，可以参照Mercator系统，每一道指向一个domain，这样可以避免多个线程同时访问一个domain。

刚刚已经谈到计算量大的问题，是由于多道队列的数据结构在爬行进行到一定阶段时，数据量一定分成庞大。

如何解决？在内存不能够承载时，将队列的中间部分放在硬盘上，在内存中只保留队列的头和尾。

还有就是，完整的URL是没必要记录的，只需要判断URL是否已经下载过了。

因此，可以采用哈希表存储URL的checksums,高位存储hostname的checksum，这样一来，来自同样的domain的URL就会排列在一起。

之前说过，把数据放在硬盘上。

这样实现：建立一个LRU cache。

明显，网页链接的聚簇性和高位存储hostname的数据结构，使硬盘的读写概率非常小，提高了爬虫分布式系统的运行速度。

IP与域名需要转换，是因为URL地址不同但可能指向同一物理网页。

譬如，多个域名共同拥有一个IP，而各个域名下的内容是不同的；DNS转换导致的同一域名对应的IP是不一样的；一个站点多个域名。

面多这种情况如何解决呢？首先，积累一定数量的域名和IP，下载一些网页判断分别属于哪种情况，积累下来，然后针对性地取舍，避免重复收集使用。

下载模块的核心在于节点线程控制。

主要解决的是本地节点与Web端服务器的通信问题。

在前言中提到，爬虫技术也是基于TCP协议的。

客户有时在同一次会话中希望从服务器端下载更多的HTML页面，由于HTTP1.0，该TCP需要终止。

这是可以这样，为了节省时间和网络带宽，可以保留上次已经建立好的链接。

如果该链接没有失效，本次可以继续使用。

详细点说，就是服务器接收爬虫客户端发送的请求消息后，先返回一个HTTP头信息，包含文件类型，大小，最后修改时间等内容，后续添加包含网页的文本内容。

根据网页体的大小，申请内存空间准备接收，有两种情况需要放弃接收：一、网页类型不符合要求。

二、超出预定接收大小。

毕竟我们现在讨论的是多线程的网络爬虫技术，在下载模块，重点在于结点线程模块。

结点线程：根据控制计算机硬件的运行情况，把并行开设的线程数控制在一个最佳的数量上，并监控保证同时访问同一个domain的线程数不超过n，这样是为了保证web服务器不会出现类似于拒绝服务攻击DOS反应使得一些URL的漏取。

最好建立一个DNS 缓冲区，即是缓存。

这样可以避免频繁地查询DNS服务器。

网页分析模块相对简单，HTML比较灵活，URL出现的语境较多，我们应该参照HTML的语法，给出相应的URL出现的语境。

URL分配模块工作是为了协调各个节点，将任务分配给不同的节点，并且能够增删节点。

节点通信模块负责节点间的相互通信，除了采集器采集网页时直接与Internet交互外，其他时候所有网络通讯都通过通信器完成。

上次模块通过Send，把它的数据包以单体为目标标识发布。

接收上层的发送请求后，通信器先将数据包缓存起来，再通过目标标识维护每个节点的节点号和IP对应的节点信息。

有节点通信模块，可以只关注本身的策略，并且和其他模块松耦合，方便架构在不同的对等网络上。

分布式网络爬虫的方案，可以先讲述一个中级规模的网页搜集，当然，对于一些大型的网站如凤凰网、腾讯首页等网站的全站下载，分布式系统仍有用武之地。

先了解下对中等规模的网站的爬虫搜集，一个网站的host 是一样的，因此需要在普通的任务分配基础上做出一些改动，首先任务的粒度不能再选择host，因为这样一来，同一网站的网页的哈希函数的数值是唯一的，任务只能分配在节点上，对于分布式网络爬虫系统，显然是不行的。