Centos7安装和配置hadoop2.7.3的流程和总结

CentOS7安装Hadoop2.7.3完整流程及总结

一、前言

配置一台master服务器，两台（或多台）slave服务器，master可以无密码SSH登录到slave。卸载centos7自带的openjdk,通过SecureCRT的rz命令上传jdk-7u79-linux-x64.tar.gz文件到服务器,解压安装JDK，解压安装Hadoop，配置hadoop的core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml文件。配置好之后启动hadoope服务，用jps命令查看状态。再运行hadoop自带的wordcount程序做一个Hello World实例。

二、准备工作

我的系统：

windows 10 家庭普通中文版

cpu:intel i5 2.2GHz

内存：8G

64位操作系统

需要准备的软件和文件（全部是64位安装包）

1.虚拟机：VMware 12 Pro1

2.5.2

2.Centos7官网下载：https:///download/选择DVD ISO(标准

版)/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1 511.iso

3.JDK 1.7及以上，官网下载：jdk-7u79-linux-x6

4.tar.gz

4.Hadoop 2.7.3下载地址：

/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.t ar.gz

5.SecureCRT version 7.2.3

三、安装过程

提示：先创建一台虚拟机,安装好centos7系统，使用VMware 的克隆功能，克隆另外两台虚拟机。这样可以节省时间。

3.1虚拟机设置

当三台虚拟机安装好之后，获得它们的IP地址,并设置主机名，（根据实际IP 地址和主机名）修改/etc/hosts文件内容为：

192.168.186.128master.hadoop

192.168.186.129 slave1.hadoop

192.168.186.130 slave2.hadoop

1、vi /etc/hosts命令修改，然后保存（vi的相关命令见引用来源16）

2、more /etc/hosts查看

3、重启后，hosts生效。命令：reboot now

3.2 SSH免密码登录

提示：我全程用的都是root用户，没有另外创建用户。每台服务器都生成公钥，再合并到authorized_keys。

1)CentOS默认没有启动ssh无密登录，去掉/etc/ssh/sshd_config其中2行的注

释，每台服务器都要设置，

#RSAAuthentication yes

#PubkeyAuthentication yes

2)输入命令，ssh-keygen -t rsa，生成key，都不输入密码，一直回车，/root就

会生成.ssh文件夹，每台服务器都要设置，

3)合并公钥到authorized_keys文件，在master服务器，进入/root/.ssh目录，

通过SSH命令合并，（~/.ssh/id_rsa.pub 是省略的写法，要根据实际路径来确定）

cat id_rsa.pub>>authorized_keys

ssh root@192.168.186.129 cat ~/.ssh/id_rsa.pub>>authorized_keys

ssh root@192.168.186.130 cat ~/.ssh/id_rsa.pub>>authorized_keys

4)把master服务器的authorized_keys、known_hosts复制到slave服务器的

/root/.ssh目录

scp -r /root/.ssh/authorized_keysroot@192.168.186.129:/root/.ssh/

scp -r /root/.ssh/known_hostsroot@192.168.186.129:/root/.ssh/

scp -r /root/.ssh/authorized_keysroot@192.168.186.130:/root/.ssh/

scp -r /root/.ssh/known_hostsroot@192.168.186.130:/root/.ssh/

5)完成后，ssh root@192.168.186.129、ssh root@192.168.186.130或者

(sshroot@slave1.hadoop、sshroot@slave2.hadoop ) 就不需要输入密码直接登录到其他节点上。

3.4 Secure CRT连接虚拟机

1、在VMware中把三台虚拟机启动，如下图所示：

2、打开SecureCRT,在一个session里连接三台虚拟机，就可以登录实现操作。Fiel->Quick Connection

Protocol:ssh2 前提条件是在3.2中实现了ssh免密码登录

Hostname:192.168.186.128 连接的主机名

Username: root 连接主机的用户名

Connect

依次连接好三台虚拟机

3、结果如下：

4、上传windows系统中的文件到虚拟机中

定位到要上传文件的目录下，输入命令：rz，回车后，弹出文件选择窗口，选择文件，点击add,再OK。文件就上传到当前服务器的当前目录下。

rz命令如果没有安装，使用这个命令安装：yum install lrzsz