大数据平台概要设计说明书

计算平台

概要设计说明书

作者：日期： 2013-01-28批准：日期：

审核：日期：

（版权所有，翻版必究）

文件修改记录

目录

1.

引言

1.1编写目的

大数据泛指巨量的数据集，因可从中挖掘出有价值的信息而受到重视。《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大技术变革。麦肯锡公司的报告指出数据是一种生产资料，大数据是下一个创新、竞争、生产力提高的前沿。世界经济论坛的报告认定大数据为新财富，价值堪比石油。因此，发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手。

互联网特别是移动互联网的发展，加快了信息化向社会经济各方面、大众日常生活的渗透。有资料显示，1998年全球网民平均每月使用流量是1MB（兆字节），2000年是10MB，2003年是100MB，2008年是1GB（1GB等于1024MB），2014年将是10GB。全网流量累计达到1EB（即10亿GB或1000PB）的时间在2001年是一年，在2004年是一个月，在2007年是一周，而2013年仅需一天，即一天产生的信息量可刻满亿张DVD光盘。我国网民数居世界之首，每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易，单日数据产生量超过50TB（1TB等于1000GB），存储量40PB(1PB等于1000TB)。百度公司目前数据总量接近1000PB，存储网页数量接近1万亿页，每天大约要处理60亿次搜索请求，几十PB数据。一个8Mbps（兆比特每秒）的摄像头一小时能产生数据，一个城市若安装几十万个交通和安防摄像头，每月产生的数据量将达几十PB。医院也是数据产生集中的地方。现在，一个病人的CT影像数据量达几十GB，而全国每年门诊人数以数十亿计，并且他们的信息需要长时间保存。总之，大数据存在于各行各业，一个大数据时代正在到来。

信息爆炸不自今日起，但近年来人们更加感受到大数据的来势迅猛。一方面，

网民数量不断增加，另一方面，以物联网和家电为代表的联网设备数量增长更快。2007年全球有5亿个设备联网，人均个；2013年全球将有500亿个设备联网，人均70个。随着宽带化的发展，人均网络接入带宽和流量也迅速提升。全球新产生数据年增40%，即信息总量每两年就可以翻番，这一趋势还将持续。目前，单一数据集容量超过几十TB甚至数PB已不罕见，其规模大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。

数据规模越大，处理的难度也越大，但对其进行挖掘可能得到的价值更大，这就是大数据热的原因。鉴于越来越大的数据规模，采用常规基于DBMS的数据分析工具和方法已经无法满足大规模数据分析的需求，目前一些大型互联网公司采用hadoop体系进行大规模数据的运算，结合hadoop体系结构与实际的运算需求结合，采用hadoop 体系结构的分布式运算模型，通过集群的方式实现大数据运算，为企业提供大数据的价值。

为适应大数据计算的要求，同时提供大数据运算平台的系统设计的依据，特制定计算平台的系统概要设计文档，为后期的系统详细设计和实现提供依据。

1.2术语与缩略词

下列术语、定义和缩略语适用于本标准：

1.3对象及范围

1、开发人员、DBA、测试人员；

2、研发主管领导、产品人员；

1.4参考资料

1、《大数据处理体系架构》

2、《HBase The Definitive Guide》

3、《》

4、《Programming_Hive》

2.系统总体设计

2.1需求规定

2.2运行环境

操作系统：RedHad Enterprise

软件环境：Java

Kettle MySQL

硬件环境：8核16G内存PC服务器8台

2.3基本设计思路和处理流程

1、按照数据分析的实时性，分为在线数据分析和离线数据分析。

2、在线数据分析：往往要求系统在数秒内返回上亿行数据的分析，从而才能达到不影响用户体验的目的。

3、离线数据分析：对大多数反馈时间要求不高的应用，比如离线统计分析、机器学习等，应采用离线分析的方式，通过数据采集工具将日志数据导入专门的分析平台进行分析。

4、系统主要以离线数据分析为主，采用目前在互联网业界流行的hadoop体系结构对大批量的数据进行运算，采用hadoop集群的方式对大数据进行运算。

5、数据运算平台以调度为主线，作为运算平台的核心控制系统，对运算平台的各个环节进行控制，且对运算过程中的步骤依赖关系进行控制，同时对各个环节进行监控，通过监控异常报警来提高系统的稳定性和异常响应速度。

2.4 系统结构

大数据运算系统架构图

大数据平台系统功能图

系统功能图逻辑说明

1） 生产系统的源数据通过sqoop ，flume ，Kettle 等获取后保存在Kafka 消息队列中或者保存到hadoop 的hdfs 系统中。

2） 调度系统负责自身的控制功能，通过读取调度控制的配置信息调用驱动代理程序处理相关的运算功能。

3） 驱动代理程序负责所有基于运算平台的相关组件的驱动任务，读取调度系统传递过来的模版信息，读取模版信息，并执行相应的驱动操作。

日志存储

统计分析

数据应用

Hadoop(HDFS 、HBASE)

在线计算：

Storm 流计算框架 离线计算：

Hadoop(Map/Reduce 、Hive 、pig)

日志采集

日志采集系统 Flume

数据服务

数据提取，报表展现，

统计、分析数据存储，数据接口 MongoDB 、MySql