大数据平台概要设计说明书

计算平台概要设计说明书作者：日期：2013-01-28批准：日期：审核：日期：（版权所有，翻版必究）文件修改记录目录1.引言 ...........................................................................................1.1编写目的.................................................1.2术语与缩略词.............................................1.3对象及范围...............................................1.4参考资料.................................................2.系统总体设计 .............................................................................2.1需求规定.................................................2.1.1数据导入............................................2.1.2数据运算............................................2.1.3运算结果导出........................................2.1.4系统监控............................................2.1.5调度功能............................................2.1.6自动化安装部署与维护................................2.2运行环境.................................................2.3基本设计思路和处理流程...................................2.4系统结构.................................................2.4.1大数据运算系统架构图................................2.4.2hadoop体系各组件之间关系图.........................2.4.3计算平台系统功能图..................................2.4.4系统功能图逻辑说明..................................2.4.5计算平台业务流程图..................................2.5尚未解决的问题...........................................3.模块/功能设计 ...........................................................................3.1计算驱动模块.............................................3.1.1设计思路............................................3.1.2流程图..............................................3.1.3处理逻辑............................................3.2调度模块.................................................3.2.1设计思路............................................3.2.2流程图..............................................3.2.3处理逻辑............................................3.3自动化安装部署模块.......................................3.3.1设计思路............................................3.3.2处理逻辑............................................3.4调度模块与计算驱动模块交互流程...........................3.4.1处理流程图..........................................3.4.2处理逻辑............................................3.4.3hadoop驱动模块调用驱动接口.........................3.4.4调度模块接收hadoop执行状态接口.....................3.5调度模块与kettle交互流程................................3.5.1处理流程图..........................................3.5.2处理逻辑............................................3.6对调度任务运行过程进行监控流程...........................3.6.1处理流程图..........................................3.6.2处理逻辑............................................3.7对hadoop驱动任务运行过程进行监控流程....................3.7.1处理流程图..........................................3.7.2处理逻辑............................................3.8对操作系统/应用程序监控流程..............................3.8.1处理流程图..........................................3.8.2处理逻辑............................................3.9监控报警模块.............................................3.9.1设计思路............................................3.9.2流程图..............................................3.9.3处理逻辑............................................4.系统数据结构设计......................................................................4.1数据实体关系图...........................................4.2数据逻辑结构.............................................4.2.1驱动任务设置表......................................4.2.2驱动设置表..........................................4.2.3驱动任务执行明细表..................................4.2.4调度任务表..........................................4.2.5调度步骤表..........................................4.2.6调度步骤执行记录表..................................4.2.7操作系统监控数据表..................................4.2.8应用程序监控数据表..................................4.2.9监控系统配置表......................................业务数据记录表......................................4.3数据物理结构.............................................5.安全设计 ....................................................................................6.容错设计 ....................................................................................6.1挽救措施.................................................6.2系统维护设计.............................................7.日志设计 ....................................................................................1.引言1.1 编写目的大数据泛指巨量的数据集，因可从中挖掘出有价值的信息而受到重视。

《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大技术变革。

麦肯锡公司的报告指出数据是一种生产资料，大数据是下一个创新、竞争、生产力提高的前沿。

世界经济论坛的报告认定大数据为新财富，价值堪比石油。

因此，发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手。

互联网特别是移动互联网的发展，加快了信息化向社会经济各方面、大众日常生活的渗透。

有资料显示，1998年全球网民平均每月使用流量是1MB（兆字节），2000年是10MB，2003年是100MB，2008年是1GB（1GB等于1024MB），2014年将是10GB。