Hadoop系统操作安装手册

基于网络音乐云Hadoop系统及MapReduce模型管理平台

V1.0

操作手册

北京华康嘉合科技有限公司

目录

一、服务器基础配置 (2)

二、实现Linux的ssh无密码验证配置 (2)

三、修改Linux机器名 (2)

四、安装JDK，并配置环境变量 (3)

五、安装Hadoop，并修改文件的配置 (3)

六、创建Hadoop备份的目录 (5)

七、将Hadoop的bin加入环境变量 (6)

八、修改部分运行文件的权限 (6)

九、格式化Hadoop，启动Hadoop (6)

十、新加datanode的安装步骤 (7)

一、服务器基础配置

首先，需要将服务器IP进行固定。

本文采用主机IP：10.0.0.30，分机：10.0.0.31；

主机名称：namenode，分机名称：datanode；

本文红色字体为终端命令或需修改添加部分。

二、实现Linux的ssh无密码验证配置

1.生成密钥：在namenode（主机）上，使用终端输入ssh-keygen –t

rsa，一直回车，生成密钥；

2.在namenode上使用命令cd /root/.ssh进入文件夹，使用ls可查

看两个文件：id_rsa.pub,id_rsa；

3.然后执行cp id_rsa.pub authorized_keys;使用ssh localhost验证是

否成功，第一次需要输入登录密码，以后就不需要输入密码；

4.拷贝密钥：

[root@namenode .ssh] #scp authorized_keys 10.0.0.31:/root/.ssh

这是拷贝命令，将namenode上的authorized_keys 拷贝到datanode的/root/.ssh 上；

5.验证是否成功，在namenode上输入ssh 10.0.0.31，第一次连接需

要输入yes，就可以连接到datanode上了，无需使用密码即为成功；此时，系统已登录至datanode下，不在namenode上了，可输入命令exit返回至namenode；

三、修改Linux机器名

1.查看主机名：

在命令行输入：hostname

[root@namenode ~]# hostname

namenode//这是你的主机名。

2.修改机器名

执行cd /etc/sysconfig ,进如sysconfig目录下

执行vi network，修改network文件（文件修改方法，键盘点击Insert键进入输入模式，修改好文件后，按Esc键退出输入模式，直接输入:w进行文件保存，:q退出编辑模式；也可在文件夹内选择需修改文件直接打开进行文件修改）

NETWORKING=yes

HOSTNAME=namenode（修改成你需要的）

执行cd /etc，进入etc目录

执行vi hosts

要加入的datanode，把IP地址和机器名加在后面。这一步是让主机记住datanode的名字。所以在修改datanode的hosts时，只需写入namenode和你需要加入hadoop机器的datanode的IP 地址及机器名就好。

[root@namenode etc]# vi hosts

127.0.0.1 localhost.localdomain localhost

10.0.0.30 namenode namenode

10.0.0.31 datanode datanode

重启电脑后输入hostname检查主机名。

四、安装JDK，并配置环境变量

1.安装JDK

将jdk-7u79-linux-x64.rpm保存在服务器硬盘内，双击进行安装；

2.配置环境变量

执行cd /etc，进入etc目录

执行vi profile，修改profile文件

文件中加入如下部分：

export JAVA_HOME=/usr/java/jdk1.7.0_79

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

执行chmod +x profile，把profile变为可执行文件；

执行source profile，把profile内容执行生效；

执行java、javac、java –version查看是否安装成功；

五、安装Hadoop，并修改文件的配置

1.将hadoop-

2.7.1.tar.gz文件解压，本文解压至根目录下

（/hadoop-2.7.1）；

2.输入cd /hadoop-2.7.1/etc/hadoop，进入hadoop目录

1)修改core-site.xml文件

hadoop.tmp.dir

/usr/local/hadoop/hadooptmp （hadoop运

行临时文件目录，需手动创建）

dfs.datanode.data.dir

/usr/local/hadoop/datanodetmp

hadoop.native.lib

true

Should native hadoop libraries, if present, be used.

hdfs://10.0.0.30:9000 （namenode的IP）

2)修改hadoop-env.sh文件

修改

export JAVA_HOME=/usr/java/jdk1.7.0_79

#export HADOOP_OPTS="$HADOOP_OPTS .preferIPv4Stack=true" （注释此行）

export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=/hadoop-2.7.1/lib/" export HADOOP_COMMON_LIB_NATIVE_DIR="/hadoop-2.7.1/lib/native/"

3)修改hdfs-site.xml文件

dfs.replication

2（数字为总服务器数量，本文为主、副2台）

dfs.datanode.max.transfer.threads

8192

4)mapred-site.xml文件（将mapred-site.xml.template原