Hadoop云计算平台搭建规划方案.docx

Hadoop 云计算平台搭建方案

一、平台搭建概述

总体思路

针对于电网企业在营销服务领域展开的大数据分析处理，搭建Hadoop 云计算平台进行海量数据存储，并作深层次加工、处理，挖掘出无法简单直观便可得到的新的模式，为电力企业

的决策提供指导。平台采用作为海量数据存储和分析工具，将其部署在 4 个物理计算机节点上，搭建 Hadoop 集群，其中 1 个节点作为master 节点，其余 3 个作为 slave 节点。为了获取更好的稳定性，平台搭建在Linux 系统（）环境下。

软件列表

软件描述版本

VMware Workstation 虚拟化软件

VMware Workstation 操作系统

JDK Java 的软件开发工具包

开源的云计算基础框架

分布式数据存储系统

可靠协调系统

数据迁移工具

平台搭建总流程和节点信息一览表

在平台搭建前，给出实现的总流程图和节点信息一览表，从而对平台搭建过程和各节点信息有一个全局的认识，平台搭建总流程如下图所示。

创建虚拟机master ，完成 JDK、

Hadoop等应用的安装和配置

对虚拟机master 进行克隆，得到的

虚拟机分别作为slave1 、 slave2 和

完成 Zookeeper 、 HBase等其它分布

式服务的部署，搭建Hadoop 集群

运行并测试Hadoop 集群系统

各节点信息如下表所示：

机器名master slave1 slave2 slave3IP地址用户名充当角色

、 Namenode

、 Datanode

、 Datanode

、 Datanode

二、基础平台的搭建步骤

此次大数据存储和处理平台的搭建，需要虚拟机软件 VMware Workstation 创建虚拟机的配置大部分是相同的，所以利用

4 台物理节点来部署Hadoop平台环境。我们使用4 台虚拟机，承载平台搭建工作。另外，由于对 4 台

VMware Workstation的克隆功能，可以减少部署

的工作量。

安装虚拟机软件VMware Workstation

首先在 4 台 PC机器上均安装虚拟化软件VMware Workstation，并输入相应的序列号。

在master 节点上安装 Linux 系统 Ubuntu

在设定为 master PC节点上首先安装 Linux 系统（版本为），在安装过程中为提高后期安装

软件的兼容性和稳定性，在系统语言上选择英语。创建用户名为“hadoop ”的普通用户，设

置统一的密码。安装完成后将系统的terminal命令窗口调出来，以便使用。

同时，为实现虚拟机的Ubuntu 系统与本机的Windows 系统之间方便快捷的文字复制粘贴以

及物理主机系统与虚拟机系统相互拖放文件进行共享，需要安装VMare Tools 工具，具体操作如下：

启动虚拟机，进入 Ubuntu 系统，在 VM菜单栏“虚拟机 (M) ”的下拉菜单点击“安装VMare Tools(T) ”后，会弹出一个“ VMare Tools ”文件夹，里面包含VMare Tools的安装包，将该安装包拷贝到 /home/hadoop目录下，输入命令进行解压安装： tar xzvf此时在/home/hadoop/目录下产生 vmware-tools-distrib文件夹，进入该目录，通过在terminal 终端输入相应命令，运行脚本：

cd/home/hadoop/vmware-tools-distrib $JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH ocal/share/',but failed:No such file or directory

(gedit:2949):Gtk-WARNING**:Attempting to store changes into `/root/.local/share/',but failed:Failed to create file'/root/.local/share/':No such file or directory

(gedit:2949):Gtk-WARNING**:Attempting to set the permissionsof `/root/.local/share/', but failed: No such file or directory

解决方法：只需直接在终端中输入命令：sudo mkdir-p/root/.local/share/，创建警告信息中所提示的目录即可。

若无视警告重启ubuntu 后将会出现以下情况：输入密码无法进入系统，一直处于输入密码

后又跳转回输入密码的界面。此时的解决方法是：在输入密码界面同时按下alt+ctrl+F2

进入 ubuntu 命令模式，并使用root用户及对应密码登陆系统，然后键入：/usr/bin/vi

/etc/profile打开 etc/profile文件，找到最近在末尾加上的hadoop 配置文件，按 delete

键删除这些行，然后键入命令:wq ！（注意此处有冒号，不可省略）保存文件。然后同时按下

ctrl+alt+del重启系统即可使系统恢复正常登陆，然后按照上述方法重新配置。

目录设置

在普通用户hadoop 下创建 hadoop 的数据存储目录（若使用root用户创建上述文件夹则会

因权限问题导致无法向这些文件夹中写入并读取数据），可自行选择数据存储的路径，我们

选择在 /home/hadoop/ 文件夹下创建dfs 和 tmp 作为数据存储与交换的目录，并在dfs 文件夹下创建name和 data 两个子文件夹。分别执行命令：

mkdir /home/hadoop/dfs/name

/description>

*

*

（4）配置文件，打开该文件，在文件末尾添加以下语句。

文件名打开文件后，在其末尾添加语句：

file:/home/hadoop/dfs/name

file:/home/hadoop/dfs/data

4

true

注意：需要在中配置属性时，属性指定HDFS中文件块复制的份数，其默认值为3，当 datanode 节点少于 3 台便会报错。在一般情况下，当其属性值为 3 的时候， HDFS的部署策略是在本