在Hadoop基础上的数据处理系统的构建研究

在Hadoop基础上的数据处理系统的构建研究第1 章绪论1.1 研究背景和意义随着科技的进步以及互联网技术的不断提高，越来越多的智能设备被人们所使用。

而如今物联网、云计算等新兴技术也开始逐步影响着人们的生活，随之而来的就是这些数据载体所导致的数据量增长的问题，比如Facebook 每天所要处理的数据量就在500TB 左右，如何处理这些海量数据成为了每个公司发展的瓶颈。

据统计，截至到2015 年全球的数据量将达到8.5ZB，而且将以每18 个月翻一番的趋势增长，其中以电子商务交易数据、社交网络数据和移动终端数据为代表的三大主导非结构化数据将占全球数据总量的90%[1]。

无疑，大数据的时代已经到来。

本文要处理的数据是温度传感器采集的数据，因此在短时间内就会产生大量的数据，而且这些数据是不断增长的，如果采用传统的数据存储模式即使用处理能力很强的大型机和关系型数据库，即将全部数据存储到具有很大容量的磁盘上。

虽然近年来磁盘的存储容量不断增加，但是其访问速度却未能与时俱进，比如读取具有1TB 数据的磁盘，其速度传输速度为100MB/s，读取完所有数据仍需要1个小时[2]。

所以面对这些不断增长的温度数据，即使再大容量的机器也不能从根本上解决大数据的存储问题；而关系型数据库的缺点是只能存储结构化的数据、没有较好的弹性和容错性等，所以传统的处理模式已经不能满足要求了。

而云计算的出现给这些问题带来了生机。

云计算是并行计算、分布式计算、虚拟化等技术的结合[3]。

目前比较流行的云平台有Abiquo 公司开发的AbiCloud，它是一款用于公司的开源的云计算平台，使公司能够以快速、简单和可扩展的方式创建和管理大型、复杂的IT 基础设施（包括虚拟服务器、网络、应用、存储设备等）[3,4]；Enomalism 弹性计算平台，它提供了一个功能类似于EC2 的云计算框架；Hadoop，是Google 云计算平台的一个开源实现，主要包括HDFS 文件系统和MapReduce编程模型。

本文所设计的数据处理系统采用Hadoop 框架，利用集群模式来作为本系统所依赖的底层环境，并且配合HBase 共同构建私有云。

HBase 作为数据库存储采集到的数据，并在此系统上进行MapReduce 程序的编写[5,6]；使用Java Web 技术来编写网页管理界面，使用户能够直接通过浏览器来对数据进行统一的管理操作。

本文设计的系统能够很好的处理温度数据，同时对于其他大数据场合同样实用，具有很好的实际应用价值。

..................................1.2 国内外研究现状⑴大数据的发展“大数据”是随着Apache 的开源项目Nutch 发展而来的。

当时Nutch 项目主要是用来做网页爬虫和优化搜索引擎的，所以会产生大量的数据集，而大数据就是这些数据集的简称。

后来Google 在2004 年发表了两篇论文：MapReduce 和GoogleFile System(GFS)，从此大数据就不仅用来形容数据的容量了，同时还包括了海量数据的处理速度。

早在1980 年，著名未来学家阿尔文·托夫勒发表了《第三次浪潮》一书，大数据被第一次提了出来，同时他还将大数据热情地赞颂为“第三次浪潮的华彩乐章”[7]。

从2009 年开始，“大数据”才成为互联网信息技术行业的流行词汇。

美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便翻一番，而目前世界上90%以上的数据是最近几年才产生的[7]。

从2009 年到现在，大数据被越来越多的公司重视，并且开始着手大数据的分析和处理方案的研究，并结合公司自身数据源的特点，开发出合适的数据处理方案。

⑵Hadoop 的发展2004 年，Apache 的顶级项目Hadoop 由Doug Cutting 等人共同开发出来，是为了解决在Lucene 和Nutch 等开源项目中遇到的数据处理速度等问题，是Google发表的GFS 和MapReduce 思想的一种开源实现[8]。

2008 年2 月，雅虎宣布搭建了当时世界上最大规模的Hadoop 集群系统，Yahoo!Serch Webmap，并用它来进行雅虎日常的广告统计、日志分析和科研实验；亚马逊的搜索网站 使用Hadoop 来生成商品搜索的索引[9]；全球最大的网上音乐社区 Last.fm 在Hadoop 上运行着数百种执行各种操作的日常作业，例如日志分析、及时处理和图表生成等；著名社交网站Facebook 用320 多台机器组成的Hadoop 集群构建了整个网站的数据仓库，进行网站的日志分析和数据挖掘等工作[9]。

2008 年之后，越来越多的国内企业也开始对Hadoop 进行研究，其中包括淘宝、一淘、百度、腾讯、中国移动等等。

淘宝是国内最先使用Hadoop 的公司之一，它的Hadoop系统用于存储并处理海量的电子商务交易数据；百度广泛使用了Hadoop并对其进行调整和改进，主要用于搜索日志的分析和网页数据的挖掘；中国移动研究院提出了基于Hadoop 的“大云”(BigCloud)系统，并用它来完成数据挖掘和用户行为分析等工作[10]。

不只企业界对Hadoop 青睐有加，学术界里很多科研院所也投入到Hadoop 的应用和研究中，其中有中科院、清华大学、浙江大学和华中科技大学等。

2011 年被称为是Hadoop 的商业化元年，随着Hadoop 的应用日渐广泛，国内越来越多的商业公司加入到这个领域，提供商业化的工具和服务，为Hadoop 在企业内部的应用注入了一剂强心剂。

如今Hadoop 已经能够处理非常大的数据量了，并且随着互联网的高速发展，新的Hadoop 业务模式将不断被开发出来，Hadoop的应用也会由互联网领域向物联网、电子金融、医疗卫生、政府办公等领域拓展。

相信在不久的将来，Hadoop 将会在越来越多的领域中扮演中坚力量，为我们提供更加优质快捷的服务。

...............................第2 章Hadoop 和HBase 的理论分析2.1 Hadoop 架构2.1.1 Hadoop 概述在2005 年，Apache 软件基金会研究出一套用于抓取网页内容和快速检索的软件系统，但是当数据量不断增加并且达到亿数量级的时候，这个系统运行的效率就会十分的低下，他们必须寻找另外的解决办法。

在这之后Google 发表了两篇论文Google File System(GFS)和MapReduce:Simplified Dataprocessing on Large Clusters。

于是在2004 年，他们借鉴GFS 的架构实现思想成功开发出了此项目Nutch 的分布式文件系统Nutch Distributed File System (NDFS)和MapReduce 。

开发者们后来就把这两者独立出来形成一个子项目，它就是Hadoop[12-14]。

Hadoop 集群不需要昂贵的服务器，它建立在普通的PC 机上就可以，成本比较低，而且它还具有高可靠性和高扩展性等诸多优点，所以受到了很多公司的青睐。

2008 年，雅虎在由900 多节点组成的集群上完成了对1TB 数据的排序工作，耗费的时间仅仅为209 秒[15]，开创了Hadoop 应用的新局面。

在这之后各大网络公司纷纷开始使用Hadoop 来处理自己公司内部大数据带来的问题。

Hadoop 是一个能够对大数据进行分布式处理的软件框架，是以一种可靠、高效、可伸缩的方式进行处理的[16]。

它不仅具有处理数据速度快的特点，还有以下几个优点：⑴高可靠性。

Hadoop 是采用位级别的方式来进行数据的存储和处理的，因此速度比较快；⑵高扩展性。

Hadoop 采用集群模式来进行分布式计算，如果集群的规模不再能够满足数据的增长，只需要简单的增加节点扩大集群即可，非常的方便。

⑶高效性。

分配到每个节点上的数据都能够根据需要迁移到其他节点上，保证了集群间的负载均衡，同时还为高效的处理速度提供了依据。

⑷高容错性。

为了避免数据的丢失，Hadoop 提供了一种副本存放的策略，即数据有多个副本，一旦某个节点上的数据丢失，可以很快的从其他节点上恢复过来，保证了系统的安全性。

除了Hadoop 之外，围绕Hadoop 的子项目也已经有很多，比如Avro、Hive、ZooKeeper[17]等等，它们都成为了项目中不可或缺的工具，它们的结构如图2-1 所示：.......................................2.2 HBase 数据库分析2.2.1 HBase 概述HBase 同样也是Apache 模仿谷歌Bigtable 实现的一个数据库系统，它具有强一致性、高性能随机读写等优势。

HBase 是通过主键和时间戳来检索数据的，主要用来存储非结构化和半结构化的松散数据[25]。

2.2.2 HBase 数据模型HBase 的表是一个个按列存储的有序的映射表，它的检索是通过Row Keycolumn 和timestamp 来完成的。

图2-6 是HBase 的逻辑模型视图：从图中可以看出，key1，key2，key3 就是各自记录的唯一一个用于索引的主键；column-family1，column-family2 是两个列族，每个列族下又包括两列，如column-family1 下有两列，分别是column1 和column2；t1:abc，t2:bcd 是由key1、column-family1 还有column1 唯一确定的一个单元cell。

这个cell 中有两个数据abc和bcd。

但是它们的timestamp 不一样，即它们是在t1 和t2 两个不同的时刻存放到cell 中的。

下面来具体解释下这些名词的含义：⑴Row Key。

用来检索数据的主键；⑵列族column-family。

HBase 数据库采用列族的方式来统一管理不同的列，一个列族下的所有列属于一个列族。

例如courses:history，courses:math 两个列，它们都属于courses 这个列族；⑶单元Cell。

是由{row key, column( =<family> + <label>), version} 唯一确定的一个存储单元。

跟关系型数据库不同的是，cell 中的数据存储格式是二进制字节码的形式，因此HBase 中可以存储任意类型的数据。

⑷时间戳timestamp。

时间戳用来区分cell 中不同版本的数据，默认情况下，HBase 会把最新的数据放到前面。

2.2.3 HBase 系统架构从图2-7 中可以看出，HBase 的运行是由Zookeeper、HMaster 和HRegionServer等协同完成的，它们扮演着不同的角色，完成不同的功能，它的底层是使用HDFS来进行数据存储的。