大数据平台概要设计说明书

计算平台概要设计说明书作者：日期： 2013-01-28批准：日期：审核：日期：（版权所有，翻版必究）文件修改记录目录1.引言1.1编写目的大数据泛指巨量的数据集，因可从中挖掘出有价值的信息而受到重视。

《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大技术变革。

麦肯锡公司的报告指出数据是一种生产资料，大数据是下一个创新、竞争、生产力提高的前沿。

世界经济论坛的报告认定大数据为新财富，价值堪比石油。

因此，发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手。

互联网特别是移动互联网的发展，加快了信息化向社会经济各方面、大众日常生活的渗透。

有资料显示，1998年全球网民平均每月使用流量是1MB（兆字节），2000年是10MB，2003年是100MB，2008年是1GB（1GB等于1024MB），2014年将是10GB。

全网流量累计达到1EB（即10亿GB或1000PB）的时间在2001年是一年，在2004年是一个月，在2007年是一周，而2013年仅需一天，即一天产生的信息量可刻满亿张DVD光盘。

我国网民数居世界之首，每天产生的数据量也位于世界前列。

淘宝网站每天有超过数千万笔交易，单日数据产生量超过50TB（1TB等于1000GB），存储量40PB(1PB等于1000TB)。

百度公司目前数据总量接近1000PB，存储网页数量接近1万亿页，每天大约要处理60亿次搜索请求，几十PB数据。

一个8Mbps（兆比特每秒）的摄像头一小时能产生数据，一个城市若安装几十万个交通和安防摄像头，每月产生的数据量将达几十PB。

医院也是数据产生集中的地方。

现在，一个病人的CT影像数据量达几十GB，而全国每年门诊人数以数十亿计，并且他们的信息需要长时间保存。

总之，大数据存在于各行各业，一个大数据时代正在到来。

信息爆炸不自今日起，但近年来人们更加感受到大数据的来势迅猛。

一方面，网民数量不断增加，另一方面，以物联网和家电为代表的联网设备数量增长更快。

2007年全球有5亿个设备联网，人均个；2013年全球将有500亿个设备联网，人均70个。

随着宽带化的发展，人均网络接入带宽和流量也迅速提升。

全球新产生数据年增40%，即信息总量每两年就可以翻番，这一趋势还将持续。

目前，单一数据集容量超过几十TB甚至数PB已不罕见，其规模大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。

数据规模越大，处理的难度也越大，但对其进行挖掘可能得到的价值更大，这就是大数据热的原因。

鉴于越来越大的数据规模，采用常规基于DBMS的数据分析工具和方法已经无法满足大规模数据分析的需求，目前一些大型互联网公司采用hadoop体系进行大规模数据的运算，结合hadoop体系结构与实际的运算需求结合，采用hadoop 体系结构的分布式运算模型，通过集群的方式实现大数据运算，为企业提供大数据的价值。

为适应大数据计算的要求，同时提供大数据运算平台的系统设计的依据，特制定计算平台的系统概要设计文档，为后期的系统详细设计和实现提供依据。

1.2术语与缩略词下列术语、定义和缩略语适用于本标准：1.3对象及范围1、开发人员、DBA、测试人员；2、研发主管领导、产品人员；1.4参考资料1、《大数据处理体系架构》2、《HBase The Definitive Guide》3、《》4、《Programming_Hive》2.系统总体设计2.1需求规定2.2运行环境操作系统：RedHad Enterprise软件环境：JavaKettle MySQL硬件环境：8核16G内存PC服务器8台2.3基本设计思路和处理流程1、按照数据分析的实时性，分为在线数据分析和离线数据分析。

2、在线数据分析：往往要求系统在数秒内返回上亿行数据的分析，从而才能达到不影响用户体验的目的。

3、离线数据分析：对大多数反馈时间要求不高的应用，比如离线统计分析、机器学习等，应采用离线分析的方式，通过数据采集工具将日志数据导入专门的分析平台进行分析。

4、系统主要以离线数据分析为主，采用目前在互联网业界流行的hadoop体系结构对大批量的数据进行运算，采用hadoop集群的方式对大数据进行运算。

5、数据运算平台以调度为主线，作为运算平台的核心控制系统，对运算平台的各个环节进行控制，且对运算过程中的步骤依赖关系进行控制，同时对各个环节进行监控，通过监控异常报警来提高系统的稳定性和异常响应速度。

2.4 系统结构大数据运算系统架构图大数据平台系统功能图系统功能图逻辑说明1） 生产系统的源数据通过sqoop ，flume ，Kettle 等获取后保存在Kafka 消息队列中或者保存到hadoop 的hdfs 系统中。

2） 调度系统负责自身的控制功能，通过读取调度控制的配置信息调用驱动代理程序处理相关的运算功能。

3） 驱动代理程序负责所有基于运算平台的相关组件的驱动任务，读取调度系统传递过来的模版信息，读取模版信息，并执行相应的驱动操作。

日志存储统计分析数据应用Hadoop(HDFS 、HBASE)在线计算：Storm 流计算框架 离线计算：Hadoop(Map/Reduce 、Hive 、pig)日志采集日志采集系统 Flume数据服务数据提取，报表展现，统计、分析数据存储，数据接口 MongoDB 、MySql4）系统管理功能部分完成系统相关配置，管理等相关信息的维护操作。

5）监控系统对整个系统的运行状况进行监控，由各个业务子系统按照监控系统的要求实现相应的监控功能。

大数据平台功能结构图大数据平台功能结构图说明：1）大数据平台功能结构主要划分为计算平台，应用平台，系统管理以及监控，配置等相关应用功能。

2）计算平台分为基础运算部分，模版管理部分，驱动代理部分，系统调度部分。

3）计算平台分为离线计算与实时计算两种形式。

4）计算平台基于模版的功能开发，实际应用中做到模版的热插拔，对于功能需求只需要开发相应的模版，并部署上计算平台即可应用。

5）驱动代理程序管理所有的基于大数据运算的相关组件的代理功能，对外提供给调度系统应用，调用模版设置的相应的类型，进行相应类型的驱动操作。

6）调度系统只关心其自身的系统控制能力，不参与具体的业务以及计算功能组件的调用。

2.5尚未解决的问题无3.模块/功能设计3.1调度模块设计思路一：调度模块实现功能思路二：流程说明以及注意事项：1、任务与步骤采用配置表的方式保存在mysql中，调度程序定时扫描任务表，判断是否有启动的任务，如果有启动的任务，则启动任务。

2、调度任务需要判断任务中步骤之间的依赖关系，根据依赖关系判断是否可以执行下一步的执行步骤。

3、一个任务中可以包含多个步骤，每个步骤为一个具体的任务，步骤与步骤直接存在依赖关系。

4、对于具体的执行任务将由驱动代理自动完成。

流程图处理逻辑1、调度任务启动后扫描任务配置表，看任务配置表是否存在需要处理的任务信息，如果不存在需要处理的任务信息，则线程执行休眠，否则执行步骤2；2、生成数据日期，并检查任务依赖关系，如果依赖关系未执行完，则现成等待操作，等待依赖的任务执行完成，如果依赖关系都执行完，则获取符合条件的任务，执行步骤3：3、读取任务信息表，获取任务信息，根据任务信息读取步骤信息，执行相应的步骤操作，执行步骤4；4、根据步骤信息的配置获取需要执行的相应的模版信息，调用驱动代理程序执行相应的功能，执行步骤5；5、驱动代理程序执行模版初始化，初始化完成后获取相应的参数数据，并根据模版类型选择具体的驱动程序，执行相应的操作。

6、判断该任务的下步骤是否执行完成，如果未执行完成，则执行步骤3，继续下一个步骤的执行，否则执行步骤7；7、写步骤完成信息表，判断是否还存在要执行的任务，如果没有等待，存在需要执行的任务则执行步骤3.3.2驱动代理模块设计思路一：计算驱动模块实现功能思路二：流程说明以及注意事项：1、计算平台的驱动提供针对Hive，MapReduce，Hbase等相关的驱动应用。

2、基于业务模版的设置操作，调度执行业务模版，不关心模版具体业务形态。

3、一个驱动应用包含四个步骤：1）删除不用的数据；2）加载数据；3）运算；4）导出结果文件。

4、提供监控需要的相应信息。

5、对于文件的操作，会涉及到多个文件或者目录操作，多个文件或者目录以逗号分隔，对文件操作中涉及到一些按照小时，天，月份的文件命名的操作，配置中以特殊字符进行替换。

流程图处理逻辑1、由调度程序驱动代理模块，调用驱动代理模块的驱动应用，传递需要驱动的模版编号，处理时间范围等相关信息，执行流程2；2、驱动程序首先查询是否存在该模版，如果不存在模版，、则执行流程3，否则执行流程4；3、则直接返回任务失败信息，不存在相关的模版，整个流程结束；4、如果查询到相关的模版信息，先执行初始化模版信息以及需要删除的中间文件，多个文件以逗号分割，如果为空则表示不需要清理中间文件，执行流程5；5、清理hive表数据操作，多个hive语句以逗号分割，如果为空则表示不需要进行分割，执行流程66、判断该操作是hive驱动mapreduce还是自定义的mapreduce，如果是自定义的mapreduce则走自定义的mapreduce操作，执行流程7，否则如果是hive驱动的mapreduce，则走hive操作流程，否则执行流程8；7、如果mapreduce的操作流程，第一步执行加载文本文件数据，多个文本文件以逗号进行分割，第二步执行mapreduce操作，通过shell脚本的方式执行mapreduce 操作，第三步执行完后将结果输出。

8、如果是hive的操作流程，第一步先执行加载文本文件到hive表，如果有多个文件操作一逗号分割，第二步执行hive语句，多个hive语句以逗号分割的方式，第三步将结果输出到相应的hive表中。

9、根据设置导出的方式，将结果文件导出到mysql，或者mongodb，或者直接将文本文件从hdfs文件系统中导出。

3.3对操作系统/应用程序监控流程处理流程图处理逻辑1、读取监控服务器列表，判断是否需要监控，如果需要监控，则执行步骤2，如果不需要监控，执行步骤5；2、监控模块向监控服务器发送监控请求，等到被监控服务器的返回，执行步骤3；3、被监控服务器接收到请求监控信息后，将相关的信息返回给监控模块，执行步骤4；4、监控服务器将返回的数据进行解析后入库，执行步骤5；5、判断被监控服务器是否都请求完成，如果请求完成，则执行步骤6，否则执行步骤1；6、监控模块线程休眠10分钟，等待下次进行监控，执行步骤1.3.4监控报警模块设计思路一：监控模块实现功能思路二：流程说明以及注意事项：1、监控报警模块主要完成三个级别的监控报警，分为：1）操作系统级别，检测运行的机器的操作系统是否正常运行，CPU，内存，I/O，存储等资源的利用情况，采用Linux的Shell脚本对相关的信息进行收集并上报； 2）应用程序级别监控，检测kettle，hadoop，hive，hbase，zookeeper等相关程序是否正常启动，以及应用程序的相关资源的监控。