HADOOP集群设计
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
组件对象 用户对象
组件对象 用户对象
组件对象 用户对象
组件对象 用户对象
6.8 停止节点
方法名:stopNode 参数:
* @param componentBean * @param userBean
返回值: 任务 id
6.9 刷新组件
方法名:refreshComponent 参数:
* @param componentBean * @param userBean 返回值: 任务 id
启动组件
组件对象 用户对象
返回值: 任务 id
6.6 停止组件
方法名:stopComponent 参数:
* @param componentBean * @param userBean 返回值: 任务 id
6.7 启动节点
方法名:startNode 参数:
* @param componentBean * @param userBean 返回值: 任务 id
接口文件
IHadoopSupport
安装 hadoop
说明
IHadoopSupport
卸载 hadoop
IHadoopSupport
增加节点
IHadoopSupport
删除节点
IHadoopSupport
启动 hadoop
IHadoopSupport
关闭 hadoop 节点
IHadoopSupport
描述: 时序图: 步骤:
3.7 Hadoop 节点启动
描述: 时序图: 步骤:
3.8 Hadoop 节点停止
描述: 时序图: 步骤:
3.9 Hadoop 完整性验证
wenku.baidu.com描述:
时序图:
步骤:
3.10 Hadoop 刷新
描述: 当用户通过后台,或者其他途径对 Hadoop 集群进行操作后,导致大数
据部署中 Hadoop 集群的数据与实际环境中不一致,需要通过刷新 Hadoop 功能,来同步 Hadoop 集群中的数据,保证和实际环境的一致性。
更新不一致的数据。完成后,返回结果给 L2 层。 6. L2 层把执行的结果信息,返回给 L3 层。 7. L3 层返回执行的结果到界面。 8. 界面根据执行的结果,刷新相关的界面。
4 类图 5 数据库设计
6 接口定义
功能名称
createComponent removeComponent
addNodes deleteNodes startComponent stopComponent startNode stopNode refreshComponent
返回值: 任务 id
组件对象 用户对象
6.4 删除节点
方法名:deleteNodes 参数:
* @param componentBean * @param userBean
返回值: 任务 id
组件对象 用户对象
6.5
方法名:startComponent 参数:
* @param componentBean * @param userBean
时序图:
步骤: 1. 进入大数据部署界面,选择 Hadoop 组件,点击“刷新”按钮。 2. 界面把数据提交给 L3,L3 层调用 L2 层的接口。 3. L2 调用调用 PD3 的 rest 接口查询 Hadoop 集群信息。 4. L2 将数据对象关联后,保存到数据库零时表中。 5. 数据库中的存储过程对临时表中的数据和真实表中的数据进行比对,并
用户对象
6.2 卸载 hadoop 集群
方法名:removeComponent 参数:
* @param componentBean * @param userBean
返回值: 任务 id
组件对象 用户对象
6.3 增加节点
方法名:addNodes 参数:
* @param componentBean * @param userBean
分步执行进行安装。 1. 环境准备(主要检查机器是否可用,机器是否互信)。 2. 检查 JDK 是否安装。 3. 解压 hadoop 安装包到安装目录,并配置 HADOOP_HOME 和 JAVA_HOME。 4. 配置 3 个配置文件,完成之后同步 Hadoop 目录到所有节点。 5. 格式化 nameNode 文件系统。 6. 启动 Hadoop(python 包含启动 hdfs,map,reduce,hadoop,需要先检
3.2 Hadoop 卸载
描述: 卸载 Hadoop 集群,实现分步卸载集群,支持用户分步卸载和自动分步卸载 模式。 时序图:
步骤:
3.3 Hadoop 启动
描述: 时序图:
步骤:
3.4 Hadoop 停止
描述: 时序图:
步骤:
3.5 Hadoop 添加节点
描述: 时序图: 步骤:
3.6 Hadoop 删除节点
Hadoop 集群设计
修订记录 修订章节
修订时间
备注
1 功能描述
Hadoop 集群的安装、卸载、启动、监控、停止、添加节点、删除节点等功 能。
2 设计原则
大数据部署管理 Hadoop 集群。
3 开发设计
Hadoop 管理,包括安装、卸载、监控、启停操作、增删节点等操作
3.1 Hadoop 安装
描述: 创建开源 Hadoop 集群,并实现分步安装流程,支持自动分步执行和用户
启动节点
IHadoopSupport
关闭节点
IComponentMonitorSupport 刷新 hadoop
6.1 安装 hadoop 集群
方法名:createComponent 参数:
* @param componentBean
组件对象
* @param userBean 返回值: 任务 id
查是否已经启动)。 7. 检查是否成功。 8. 刷新同步。
时序图:
步骤:
1. 进入大数据部署,点击“创建集群”。 2. 在“创建集群”界面输入集群名称和描述,选择节点、Hadoop 组件、
设置节点角色、输入 Hadoop 配置参数等输入信息后进入到流程页面, 选择自动或分步,点击执行按钮。 3. 界面将数据提交到 L3,L3 调用 L2 将集群数据入库,并将分步操作数 据入库,执行分步任务。 4. L3 组织操作结果,返回 UI。 5. UI 根据操作结果给出提示信息。 说明: 1. 自动执行,后台自动分步执行,执行成功进入下一步骤,失败停止 执行。 2. 手动分步执行,用户界面手动操作每一步骤。