Hadoop集群部署方案

Hadoop集群部署方案

目录

1.网络拓扑 (1)

2.软件安装 (1)

2.1.修改主机名 (1)

2.2.修改host文件 (1)

2.3.创建Hadoop 用户 (2)

2.4.禁用防火墙 (2)

2.5.设置ssh登录免密码 (2)

2.6.安装hadoop (4)

3.集群配置 (5)

3.1.修改脚本 (5)

3.1.1................................................ hadoop-env.sh

5

3.1.2................................................... y arn-env.sh

5

3.2.配置文件 (5)

3.2.1................................................ core-site.xml

5

3.2.2................................................ hdfs-site.xml

7

3.2.3.............................................. mapred-site.xml

10

3.2.

4................................................ yarn-site.xml

11

3.2.5.配置datanode

14

3.3.创建目录 (14)

4.启动zk集群 (14)

5.启动hadoop (14)

5.1.启动所有节点journalnode (14)

5.2.格式化h1 namenode (15)

5.3.在h1上格式化ZK (15)

5.4.启动h1的namenode，zkfc (16)

5.5.启动h2上namenode (16)

5.6.同步h1上的格式化数据到h2 (16)

5.7.启动 HDFS (17)

5.8.启动 YARN (18)

5.9.启动h2 ResourceManager (18)

5.10........................................ h4上启动 JobHistoryServer 19

5.11.......................................... 查看ResourceManager状态19

6.浏览器访问 (19)

node管理界面 (19)

6.1.1............................... http://192.168.121.167:50070

19

6.1.2............................... http://192.168.121.168:50070

20

6.2.ResourceManager管理界面 (20)

6.2.1............................... http://192.168.121.167:8088/

21

6.2.2............................... http://192.168.121.168:8088/

21

6.3.JournalNode HTTP 服务 (21)

6.3.1............................... http://192.168.121.167:8480/

21

6.4.Datanode HTTP服务 (22)

6.4.1.............................. http://192.168.121.167:50075/

22

6.5.jobhistory 管理界面 (22)

6.5.1................... http://192.168.121.170:19888/jobhistory

22

7.测试 (23)

7.1.上传文件至hdfs (23)

7.2.验证hdfs HA (23)

7.3.验证yarn (24)

1.网络拓扑

2.软件安装

2.1.修改主机名

修改四台机器的主机名，h1，h2，h3，h4

查看是否修改成功

uname -a

2.2.修改host文件

修改三台机器/etc/hosts文件

配置hadoop节点

配置zk节点

2.3.创建Hadoop 用户

1)创建特定的Hadoop 用户帐号以区分Hadoop 和本机上的其他服务。

sudo groupadd hadoop

useradd hadoop

passwd hadoop

usermod -a -G hadoop hadoop

2)给hadoop用户添加权限，打开/etc/sudoers文件：

在root ALL=(ALL) ALL

后面添加hadoop ALL=(ALL) ALL

2.4.禁用防火墙

chkconfig iptables off

2.5.设置ssh登录免密码

Hadoop 控制脚本(并非守护进程)依赖SSH 来执行针对整个集群的操作。例如，Namenode是通过SSH（Secure Shell）来启动和停止各个datanode上的各种守护进程的

为了支持无缝式工作， SSH 安装好之后，需要允许hadoop 用户无需键入密码