Hadoop2.2部署文档

MICROSOFT

Hadoop部署文档

Hadoop2.2部署

吴汉章

2014/12/22

本文档是RHEL虚拟机下Hadoop部署文档，提供了Hadoop伪分布安装和Hadoop集群安装。意在帮助Hadoop初学者快速掌握Hadoop部署步骤。

目录

文档控制 (2)

1引言 (3)

1.1文档概述 (3)

1.2背景 (3)

1.3术语 (3)

2Red Hat Linux基础环境搭建 (3)

2.1修改主机名称 (3)

2.2设置静态IP地址 (3)

2.3设置IP映射关系 (4)

2.4安装Java JDK (4)

2.5创建Linux用户 (5)

3Hadoop伪分布安装配置 (5)

3.1配置SSH免密钥登陆 (5)

3.2 Hadoop伪分布式配置 (6)

3.2.1配置hadoop-env.sh (6)

3.2.2配置yarn-env.sh (6)

3.2.3配置core-site.xml (6)

3.2.4配置hdfs-site.xml (7)

3.2.5配置mapred-site.xml (8)

3.2.6配置yarn-site.xml (8)

3.2.7配置slaves节点列表 (8)

3.2.8配置Hadoop环境变量 (9)

3.3格式化HDFS文件系统 (9)

3.4启动Hadoop系统 (9)

3.4.1启动HDFS文件系统 (9)

3.4.2启动YARN资源管理器 (10)

3.5运行MapReduce程序 (10)

3.5.1创建单词文件 (10)

3.5.2上传文件到HDFS (11)

3.5.3运行WordCount程序 (11)

4Hadoop集群安装配置 (12)

4.1Hadoop集群概要 (12)

4.2克隆Master节点机器 (12)

4.2.1修改主机名称 (12)

4.2.2设置静态IP地址 (12)

4.2.3设置IP映射 (13)

4.3配置Master节点 (13)

4.3.1删除HDFS格式信息 (13)

4.3.2配置slave节点列表 (13)

4.4克隆slave节点机器 (14)

4.4.1配置salve1节点机器 (14)

4.4.2配置salve2节点机器 (14)

4.5格式化HDFS文件系统 (15)

4.6启动Hadoop系统 (15)

4.6.1启动HDFS文件系统 (15)

4.6.2启动YARN资源管理器 (16)

4.7运行MapReduce程序 (17)

附件： (17)

文档控制

1引言

1.1文档概述

本文档搭建Hadoop集群使用的hadoop2.2.0版本，操作系统为Red Hat Enterprise Linux Server release 5.4 (Tikanga)。查看操作系统发行版本信息:cat /etc/issue

1.2背景

Hadoop是一个由Apache基金会开源的一个分布式系统基础架构，以HDFS和MapReduce 为核心。

1.3术语

Hadoop：Apache开源的分布式系统基础框架

HDFS：Hadoop Distributed File System，Hadoop的分布式系统，简称HDFS

YARN：Yet Another Resource Negotiator，下一代Hadoop MapReduce框架（MRv2）NameNode：Hadoop HDFS元数据主节点服务器，负责保存文件存储元数据信息JobTracker：Hadoop的Map/Reduce调度器，负责分配计算任务并跟踪任务进度DataNode：Hadoop的数据节点，负责保存数据

TaskTracker：Hadoop调度程序，负责执行Map,Reduce任务

2Red Hat Linux基础环境搭建

2.1修改主机名称

在etc/sysconfig/network文件中，找到HOSTNAME参数，并将参数值为相应的主机名称，例如：master。

#vi /etc/sysconfig/network

NETWORKING=yes

NETWORKING_IPV6=no

HOSTNAME= alone

2.2设置静态IP地址

编辑/etc/sysconfig/network-scripts/ifcfg-eth0文件，先注释掉该文件中的其他参数项，然后在文件的最后添加一下内容：

#vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

BOOTPROTO=static

ONBOOT=yes

HWADDR=00:0c:29:48:35:64

IPADDR=192.168.15.225

NETMASK=255.255.255.0

GATEWAY=192.168.15.1

为了让修改的参数立即生效，需要使用重启网卡

先关闭：

# /sbin/ifdown eth0

再启动：

#/sbin/ifup eth0

2.3设置IP映射关系

编辑/etc/hosts文件，添加IP地址映射主机名关系，在文件最后添加如下的信息：

# vi /etc/hosts

192.168.15.225 alone

2.4安装Java JDK

目前基于JVM开发的应用程序都需要JDK编译环境和JRE运行环境。因此，将Java JDK 作为基础软件安装。首先需要在/user目录下，创建JDK创建安装目录，执行命令：#mkdir java 本次安装采用的JDK的二进制文件，安装步骤非常简单，只需要复制到/user/java目录，执行解压操完成了JDK的安装。

#cp jdk-6u45-linux-x64.bin /user/java

#cd /user/java

#chmod +x jdk-6u45-linux-x64.bin

#./ jdk-6u45-linux-x64.bin

配置JDK环境变量，在/etc/profile文件的最后，添加JDK环境变量内容：

#vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.6.0_45

export CLASSPATH=$JAVA_HOME/lib

export PATH=$JAVA_HOME/bin:$PATH

(注意：如果操作系统已经自带了JRE环境，为了使用新的JRE环境，需要将$JAVA_HOME/bin 放置到$PATH前面)