Hadoop集群配置详细

然后执行命令
source .bash_profile
master 从当前用户切换root用户的命令如下： 编辑主机名列表的命令 slave
启动Hadoop集群
1格式化文件系统
hadoop namenode -format 2启动Hadoop cd ~/hadoop-1.2.1 bin/start-all.sh 3查看进程
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
Hadoop配置部署
3配置核心组件core-site.xml
注释二：fs.default.name，设置namenode所在主机， 端口号是9000 注释三：core-site.xml 对应有一个core-default.xml, hdfs-site.xml对应有一个hdfs-default.xml，mapredsite.xml对应有一个mapred-default.xml。这三个 defalult文件里面都有一些默认配置，现在我们修改 这三个site文件，目的就覆盖default里面的一些配置
配置信息如下：将HadoopMaster节点的主机名改 为master，即下面代码的第3行所示
NETWORKING=yes
#启动网络
NETWORKING_IPV6=no
HOSTNAME=master #主机名
从当前用户切换root用户的命令如下：
Linux系统配置
3配置HadoopSlave节点主机名 gedit /etc/sysconfig/network
jps
master 从当前用户切换root用户的命令如下： 编辑主机名列表的命令 slave
启动Hadoop集群
4 Web UI查看集群是否成功启动
在HadoopMaster上启动Fixefox浏览器，在浏览器地 址栏中输入http://master:50070/，检查namenode和 datanode是否正常。 在HadoopMaster上启动Fixefox浏览器，在浏览器地
Linux系统配置
6配置hosts列表 编辑主机名列表的命令，并添加如下两行到文件 gedit /etc/hosts 192.168.58.128 master 192.168.58.129 slave ping master ping slave
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
址栏中输入http://master:50030/，检查JobTracker和
TaskTracker是否正常
master 从当前用户切换root用户的命令如下： 编辑主机名列表的命令 slave
启动Hadoop集群
5运行PI实例检查集群是否成功
cd /home/dhx/hadoop-1.2.1 hadoop jar hadoop-examples-1.2.1.jar pi 10 10
Linux系统配置
7安装JDK
使用gedit配置环境变量
gedit /home/dhx/.bash_profile export JAVA_HOME=/usr/java/jdk1.6.0_45/ export PATH=$JAVA_HOME/bin:$PATH 使改动生效命令 测试版本 source.bash_profile java -version
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
Linux系统配置
8免密钥登录配置
此部分所有的操作都要在dhx用户
在HadoopMaster节点终端生成密钥，命令如下（一 路点击回车生成密钥） ssh-keygen -t rsa
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
Linux系统配置
8免密钥登录配置
将authorized_keys文件复制到slave节点
scp authorized_keys dhx@slave:~/ scp authorized_keys dhx@slave:~/.ssh
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
Hadoop配置部署
9配置Hadoop启动的系统环境变量
该节的配置需要同时在两个节点（HadoopMaster和 HadoopSlave）上进行操作（在自定义用户上操作） cd
gedit .bash_profile
#HADOOP export HADOOP_HOME=/home/dhx/hadoop-1.2.1 export PATH=$HADOOP_HOME/bin:$PATH
Linux系统配置
7安装JDK 将JDK文件解压，放到/usr/java目录下 cd /home/dhx/software/jdk mkdir /usr/java mv jdk1.6.0_45.zip /usr/java/
cd /usr/java
unzip jdk1.6.0_45.zip
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
Linux系统配置
8免密钥登录配置
修改authorized_keys文件的权限
chmod 600 authorized_keys 验证免密钥登录 HadoopMaster机器上执行下面的命令 ssh slave
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
Hadoop配置部署
1免密钥登录配置
mapred.job.tracker，设置jobtracker所在机器，端 口号9001
master 从当前用户切换root用户的命令如下： 编辑主机名列表的命令 slave
Hadoop配置部署
6配置主节点masters
gedit conf/masters
master
7配置从节点slaves gedit conf/slaves
Hadoop集群配置手册（详细） 太原理工大学 邓红霞
提 纲
启动两台虚拟客户机
Linux系统配置 Hadoop配置部署 启动Hadoop集群 HDFS下的文件操作 Eclipse在Hadoop中的使用及配置
启动两台虚拟客户机
打开VMware Workstation10，打开已经安装好 的虚拟机HadoopMaster和HadoopSlave 。 如果之前没有打开过两个虚拟机，请使用文件 ->打开选项，选择之前的虚拟安装包。
2配置自动时钟同步
crontab –e 键入下面的一行代码： 0 1 * * * /usr/sbin/ntpdate us.pool.ntp.org
从当前用户切换root用户的命令如下：
Linux系统配置
3配置HadoopMaster节点主机名 gedit /etc/sysconfig/network
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
Hadoop配置部署
4配置文件系统hdfs-site.xml
gedit conf/hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
Linux系统配置
8免密钥登录配置
复制公钥文件
cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
Hale Waihona Puke Baidu
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
Linux系统配置
8免密钥登录配置
修改authorized_keys文件的权限
chmod 600 authorized_keys
配置信息如下：将HadoopSlave节点的主机名改为 slave，即下面代码的第3行所示
NETWORKING=yes
#启动网络
NETWORKING_IPV6=no
HOSTNAME=slave #主机名
从当前用户切换root用户的命令如下：
Linux系统配置
4使用setup命令配置网络环境
从当前用户切换root用户的命令如下：
master 从当前用户切换root用户的命令如下： 编辑主机名列表的命令 slave
从当前用户切换root用户的命令如下：
Linux系统配置
操作步骤需要在HadoopMaster和HadoopSlave节点
上分别完整操作，都是用root用户。 从当前用户切换root用户的命令如下：
su root
从当前用户切换root用户的命令如下：
Linux系统配置
1拷贝软件包和数据包 mv ~/Desktop/software ~/
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
Hadoop配置部署
3配置核心组件core-site.xml
注释一：hadoop分布式文件系统文件存放位置都是基于 hadoop.tmp.dir目录的，namenode的名字空间存放地方 就是 ${hadoop.tmp.dir}/dfs/name，datanode数据块的存 放地方就是 ${hadoop.tmp.dir}/dfs/data，所以设置好 hadoop.tmp.dir目录后，其他的重要目录都是在这个目 录下面，这是一个根目录。
Linux系统配置
8免密钥登录配置
此部分所有的操作都要在dhx用户
在HadoopSlave节点终端生成密钥，命令如下（一 路点击回车生成密钥） ssh-keygen -t rsa 将authorized_keys文件移动到.ssh目录 mv authorized_keys ~/.ssh/
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
master slave
master 从当前用户切换root用户的命令如下： 编辑主机名列表的命令 slave
Hadoop配置部署
8复制到从节点
scp -r hadoop-1.2.1 slave:~/
接下来让配置生效！
master 从当前用户切换root用户的命令如下： 编辑主机名列表的命令 slave
dfs.replication，设置数据块的复制次数，默认是3， 如果slave节点数少于3，则写成相应的1或者2
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
Hadoop配置部署
5配置计算框架mapred-site.xml
gedit conf/mapred-site.xml
<configuration> <property> <name>mapred. job.tracker</name> <value>master:9001</value> </property> </configuration>
Linux系统配置
选择“Network Configuration”，回车进入该项
从当前用户切换root用户的命令如下：
Linux系统配置
选择“Network Configuration”，回车进入该项
从当前用户切换root用户的命令如下：
Linux系统配置
5关闭防火墙
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
所有的操作都是用自定义用户（dhx）
su dhx
Hadoop安装包解压
cp hadoop-1.2.1.tar.gz ~/
cd
tar -zxvf hadoop-1.2.1.tar.gz
cd hadoop-1.2.1
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
Hadoop配置部署
2配置环境变量Hadoop-env.sh
环境变量文件中，只需要配置JDK的路径
gedit conf/hadoop-env.sh
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
Hadoop配置部署
3配置核心组件core-site.xml
gedit conf/core-site.xml
<configuration> <property> <name>fs.default.name</name> /*2.0后用 fs.defaultFS代替*/ <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/dhx/hadoopdata</value> </property> </configuration>