Centos7安装和配置hadoop2.7.3的流程和总结

CentOS7安装完整流程及总结

一、前言

配置一台master服务器，两台（或多台）slave服务器，master可以无密码SSH登录到slave。卸载centos7自带的openjdk,通过SecureCRT的rz命令上传文件到服务器,解压安装JDK，解压安装Hadoop，配置hadoop的、、、文件。配置好之后启动hadoope服务，用jps命令查看状态。再运行hadoop自带的wordcount程序做一个Hello World实例。

二、准备工作

我的系统：

windows 10 家庭普通中文版

cpu:intel i5

内存：8G

《

64位操作系统

需要准备的软件和文件（全部是64位安装包）

1.虚拟机：VMware 12 Pro 官网下载：选择DVD ISO(标准版) 及以上，官网

下载：下载地址：

version 三、安装过程

提示：先创建一台虚拟机,安装好centos7系统，使用VMware 的克隆功能，克隆另外两台虚拟机。这样可以节省时间。

虚拟机设置

当三台虚拟机安装好之后，获得它们的IP地址,并设置主机名，（根据实际IP地址和主机名）修改/etc/hosts文件内容为：

^

1、vi /etc/hosts命令修改，然后保存（vi的相关命令见引用来源16）

2、more /etc/hosts查看

3、重启后，hosts生效。命令： reboot now

[

SSH免密码登录

提示：我全程用的都是root用户，没有另外创建用户。每台服务器都生成公钥，再合并到authorized_keys。

1)CentOS默认没有启动ssh无密登录，去掉/etc/ssh/sshd_config其中2行

的注释，每台服务器都要设置，

2)#RSAAuthentication yes

3)#PubkeyAuthentication yes

4)输入命令，ssh-keygen -t rsa，生成key，都不输入密码，一直回车，/root

就会生成.ssh文件夹，每台服务器都要设置，

5)合并公钥到authorized_keys文件，在master服务器，进入/root/.ssh目

录，通过SSH命令合并，（~/.ssh/ 是省略的写法，要根据实际路径来确定）

6)cat >> authorized_keys

7)ssh root@ cat ~/.ssh/ >> authorized_keys

8)ssh. cat ~/.ssh/ >> authorized_keys

9)把master服务器的authorized_keys、known_hosts复制到slave服务器的

/root/.ssh目录

scp -r /root/.ssh/authorized_keys root@:/root/.ssh/

scp -r /root/.ssh/known_hosts root@:/root/.ssh/

《

scp -r /root/.ssh/authorized_keys root@:/root/.ssh/

scp -r /root/.ssh/known_hosts root@:/root/.ssh/

10)完成后，ssh root@、ssh root@或者(ssh 、ssh ) 就不需要输入密码直接

登录到其他节点上。

Secure CRT连接虚拟机

1、在VMware中把三台虚拟机启动，如下图所示：

，

2、打开SecureCRT,在一个session里连接三台虚拟机，就可以登录实现操作。Fiel->Quick Connection

Protocol:ssh2 前提条件是在中实现了ssh免密码登录

Hostname: 连接的主机名

Username: root 连接主机的用户名

Connect

依次连接好三台虚拟机

<

3、结果如下：

4、上传windows系统中的文件到虚拟机中

定位到要上传文件的目录下，输入命令：rz，回车后，弹出文件选择窗口，选择文件，点击add,再OK。文件就上传到当前服务器的当前目录下。

rz命令如果没有安装，使用这个命令安装：yum install lrzsz

安装JDK

需要JDK7，由于我的CentOS自带了OpenJDK，所以要先卸载，然后解压下载的JDK并配置变量即可。

1)在/home目录下创建java目录，然后使用rz命令，上传“”到/home/java

目录下，

2)、

3)解压，输入命令，tar -zxvf

4)编辑/etc/profile

—

5)使配置生效，输入命令，source /etc/profile

6)输入命令，java -version，完成

安装

提要

1)secureCRT 上传“，放到/home/hadoop目录下

2);

3)只在master服务器解压，再复制到slave服务器（scp命令传输）

4)解压，输入命令，tar -xzvf 在/home/hadoop目录下创建数据存放的文件夹，

tmp、dfs、dfs/data、dfs/name（文件中会用到）配置文件

1、/home/hadoop/目录下的

/home/hadoop/tmp

131702

2、配置/home/hadoop/目录下的