大数据平台概要设计说明书
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
计算平台
概要设计说明书
作者：日期：2013-01-28批准：日期：
审核：日期：
（版权所有，翻版必究）
文件修改记录
目录
1.引言 (5)
1.1编写目的 (5)
1.2术语与缩略词 (6)
1.3对象及范围 (8)
1.4参考资料 (9)
2.系统总体设计 (9)
2.1需求规定 (9)
2.1.1数据导入........................................................................... 错误!未定义书签。
2.1.2数据运算........................................................................... 错误!未定义书签。
2.1.3运算结果导出................................................................... 错误!未定义书签。
2.1.4系统监控........................................................................... 错误!未定义书签。
2.1.5调度功能........................................................................... 错误!未定义书签。
2.1.6自动化安装部署与维护................................................... 错误!未定义书签。
2.2运行环境 (9)
2.3基本设计思路和处理流程 (9)
2.4系统结构 (10)
2.4.1大数据运算系统架构图 (10)
2.4.2hadoop体系各组件之间关系图 ...................................... 错误!未定义书签。
2.4.3计算平台系统功能图 (11)
2.4.4系统功能图逻辑说明 (11)
2.4.5计算平台业务流程图....................................................... 错误!未定义书签。
2.5尚未解决的问题 (12)
3.模块/功能设计 (12)
3.1计算驱动模块 (15)
3.1.1设计思路 (15)
3.1.2流程图 (17)
3.1.3处理逻辑 (18)
3.2调度模块 (13)
3.2.1设计思路 (13)
3.2.2流程图 (14)
3.2.3处理逻辑 (14)
3.3自动化安装部署模块................................................................... 错误!未定义书签。
3.3.1设计思路........................................................................... 错误!未定义书签。
3.3.2处理逻辑........................................................................... 错误!未定义书签。
3.4调度模块与计算驱动模块交互流程........................................... 错误!未定义书签。
3.4.1处理流程图....................................................................... 错误!未定义书签。
3.4.2处理逻辑........................................................................... 错误!未定义书签。
3.4.3hadoop驱动模块调用驱动接口 ...................................... 错误!未定义书签。
3.4.4调度模块接收hadoop执行状态接口 ............................. 错误!未定义书签。
3.5调度模块与kettle交互流程........................................................ 错误!未定义书签。
3.5.1处理流程图....................................................................... 错误!未定义书签。
3.5.2处理逻辑........................................................................... 错误!未定义书签。
3.6对调度任务运行过程进行监控流程........................................... 错误!未定义书签。
3.6.1处理流程图....................................................................... 错误!未定义书签。
3.6.2处理逻辑........................................................................... 错误!未定义书签。
3.7对hadoop驱动任务运行过程进行监控流程 ............................. 错误!未定义书签。
3.7.1处理流程图....................................................................... 错误!未定义书签。
3.7.2处理逻辑........................................................................... 错误!未定义书签。
3.8对操作系统/应用程序监控流程 (19)
3.8.1处理流程图 (19)
3.8.2处理逻辑 (19)
3.9监控报警模块 (20)
3.9.1设计思路 (20)
3.9.2流程图 (21)
3.9.3处理逻辑 (21)
4.系统数据结构设计 (22)
4.1数据实体关系图 (22)
4.2数据逻辑结构 (22)
4.2.1驱动任务设置表............................................................... 错误!未定义书签。
4.2.2驱动设置表....................................................................... 错误!未定义书签。
4.2.3驱动任务执行明细表....................................................... 错误!未定义书签。
4.2.4调度任务表....................................................................... 错误!未定义书签。
4.2.5调度步骤表 (23)
4.2.6调度步骤执行记录表 (24)
4.2.7操作系统监控数据表....................................................... 错误!未定义书签。
4.2.8应用程序监控数据表....................................................... 错误!未定义书签。
4.2.9监控系统配置表............................................................... 错误!未定义书签。
4.2.10业务数据记录表............................................................... 错误!未定义书签。
4.3数据物理结构 (31)
5.安全设计 (31)
6.容错设计 (31)
6.1挽救措施 (31)
6.2系统维护设计 (31)
7.日志设计 (31)
1.