hadoop2.64搭建

环境：centos 6.6 + hadoop2.6虚拟机：（vmware fusion 7.0.0）虚拟机hostname / IP地址master / 192.168.187.102slave01 / 192.168.187.103slave02 / 192.168.187.104注：前三个步骤都是准备工作，如果已经完成，可直接进入步骤四步骤一: 先在3台虚拟机上，设置hostname及修改hosts文件1.1先正确设置各虚拟机的hostnamesudo vi /etc/sysconfig/network将HOSTNAME=后的内容，改成想要的机器名1.2修改hosts文件sudo vi /etc/hosts192.168.187.102 master192.168.187.103 slave01192.168.187.104 slave02这样，就不用记IP了这一步完成后，最好重启一次系统，以便生效。

然后可以用ping master(或slave01、slave02)试下，正常的话，应该能ping通注：hostname不要命名为“xxx.01,xxx.02”之类以“.数字”结尾，否则到最后hadoop的NameNode服务将启动失败。

步骤二：在3台虚拟机上安装jdkyum install java注：hadoop是java写的，jdk是必须的。

上述命令，会安装openjdk最基本的运行时，没有源码和javac等其它工具。

如果要安装javac等编译工具及源码yum install java-1.7.0-openjdk-develyum install java-1.7.0-openjdk-src另外openjdk安装后，不会默许设置JAVA_HOME环境变量，要查看安装后的目录，可以用命令sudo update-alternatives --config java看到默认jre目录为：/usr/lib/java/jvm/jre-1.7.0-openjdk.x86_64如要设置环境变量，可用命令sudo vi /etc/profile在最后添加export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.75.x86_64exportCLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/jre/lib/dt.jar:$JAVA_HOME/j re/lib/tools.jarexport PATH=$PATH:$JAVA_HOME/bin注：如果不喜欢openjdk，想安装oracle官方的jdk，可按下面步骤操作a) rpm -qa | grep java即：查看当前已经安装的跟java相关的包，如果显示有openjdk在其中b) yum -y remove java一般这样就会卸载干净，执行完以后，再运行a)中的rpm -qa | grep java看看，如果还有残留，可运行rpm -e --nodeps tzdata-java-2015a-1.el6.noarch (最后的部分为要删除的包名，即刚才查出来的结果)重新安装sun jdk，先从官网下载安装文件a) 上传rpm安装文件到虚拟机，参考下面的命令scp jdk-7u51-linux-x64.rpm root@master:/home/hadoop/b) 到虚拟机上，执行安装rpm -ivh jdk-7u51-linux-x64.rpmc) 然后修改环境变量sudo vi /etc/profile，在最后加下面三行export JAVA_HOME=/usr/java/jdk1.7.0_51exportCLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/t ools.jarexport PATH=$PATH:$JAVA_HOME/bin保存退出，然后输入source /etc/profile 以便让新环境变量生效注:如果机器上之前用yum install hadoop之类的命令安装过低版本的hadoop,也必须先卸载干净步骤三：在3台虚拟机上创建专门用户hadoopuseradd hadoop (创建用户)passwd hadoop（设置密码，为简单起见，3台机器上的hadoop密码最好设置成一样，比如hadoop123）为了方便，建议将hadoop加入root用户组，操作方法：先以root身份登录，然后输入usermod -g root hadoop，执行完后hadoop即归属于root组了，可以再输入id hadoop查看输出验证一下，如果看到类似下面的输出：uid=502(hadoop) gid=0(root) 组=0(root)就表示OK了步骤四：配置ssh免密码登录hadoop工作时，各节点要相互通讯，正常情况下linux之间通讯要提供用户名、密码（目的是保证通讯安全），如果需要人工干预输入密码，显然不方便，做这一步的目的，是让各节点能自动通过安全认证，不影响正常通讯。

4.1先在master上，生成公钥、私钥对以hadoop身份登录到系统cd (进入个人主目录，默认为/home/hadoop)ssh-keygen -t rsa -P '' (注：最后是二个单引号)即：以rsa算法，生成公钥、私钥对，-P ''表示空密码。

该命令运行完后，会在个人主目录下生成.ssh目录，里面会有二个文件id_rsa（私钥）,id_rsa.pub(公钥)4.2导入公钥cat .ssh/id_rsa.pub >> .ssh/authorized_keys执行完以后，可以在本机上测试下，用ssh连接自己，即：ssh localhost (或ssh master)，如果不幸还是提示要输入密码，说明还没起作用，还有一个关键的操作chmod 600 .ssh/authorized_keys (修改文件权限，否则不起作用)然后再测试下ssh localhost ，如果不需要输入密码，就连接成功，表示ok，一台机器已经搞定了。

4.3在其它机器上生成公钥、密钥，并将公钥文件复制到mastera) 以hadoop身份登录其它二台机器slave01、slave02，执行ssh-keygen -t rsa -P '' 生成公钥、密钥b) 然后用scp命令，把公钥文件发放给master（即：刚才已经搞定的那台机器）slave01上：scp .ssh/id_rsa.pub hadoop@master:/home/hadoop/id_rsa_01.pubslave02上：scp .ssh/id_rsa.pub hadoop@master:/home/hadoop/id_rsa_02.pub这二行执行完后，回到master中，查看下/home/hadoop目录，应该有二个新文件id_rsa_01.pub、id_rsa_02.pub，然后在master上，导入这二个公钥cat id_rsa_01.pub >> .ssh/authorized_keyscat id_rsa_02.pub >> .ssh/authorized_keys这样，master这台机器上，就有所有3台机器的公钥了。

4.4将master上的“最全”公钥，复制到其它机器a) 继续保持在master上，scp .ssh/authorized_keyshadoop@slave01:/home/hadoop/.ssh/authorized_keysscp .ssh/authorized_keyshadoop@slave02:/home/hadoop/.ssh/authorized_keysb) 修改其它机器上authorized_keys文件的权限slave01以及slave02机器上，均执行命令chmod 600 .ssh/authorized_keys4.5验证在每个虚拟机上，均用ssh 其它机器的hostname验证下，如果能正常无密码连接成功，表示ok小结：该步骤非常重要，主要思路是在各节点上生成公钥、私钥，然后将公钥发放其它所有节点。

RSA算法是非对称加密算法，仅公布“公钥”，只要私钥不外泄，还是不能解密的，所以安全性依然有保障。

如果本步骤失败，根据我个人经验，多半是权限问题，请检查hadoop是否具有足够权限，建议将hadoop加入sudoers列表及root用户组。

另外,这里也整理了一些SSH免密码设置失败的原因,请移步ssh 免密码设置失败原因总结步骤五：上传并解压hadoop2.6a）在本机上，用scp命令上传hadoop2.6到masterscp hadoop-2.6.0.tar.gz hadoop@master:/home/hadoop/b) 以hadoop身份登录到master，运行以下命令解压tar -zxvf hadoop-2.6.0.tar.gz步骤六：修改配置一共有7个文件要修改：$HADOOP_HOME/etc/hadoop/hadoop-env.sh$HADOOP_HOME/etc/hadoop/yarn-env.sh$HADOOP_HOME/etc/hadoop/core-site.xml$HADOOP_HOME/etc/hadoop/hdfs-site.xml$HADOOP_HOME/etc/hadoop/mapred-site.xml$HADOOP_HOME/etc/hadoop/yarn-site.xml$HADOOP_HOME/etc/hadoop/slaves其中$HADOOP_HOME表示hadoop根目录，本文中默认为/home/hadoop/hadoop-2.6.0a) hadoop-env.sh 、yarn-env.sh这二个文件主要是修改JAVA_HOME后的目录，改成实际本机jdk所在目录位置vi etc/hadoop/hadoop-env.sh （及vi etc/hadoop/yarn-env.sh）找到下面这行的位置，改成（jdk目录位置，大家根据实际情况修改）export JAVA_HOME=/usr/java/jdk1.7.0_51另外hadoop-env.sh中, 建议加上这句:export HADOOP_PREFIX=/home/hadoop/hadoop-2.6.0b) core-site.xml参考下面的内容修改：注：/home/hadoop/tmp 目录如不存在，则先mkdir手动创建core-site.xml的完整参数请参考/docs/r2.6.0/hadoop-project-dist/hadoop-common/ core-default.xmlc) hdfs-site.xml注:dfs.replication表示数据副本数，一般不大于datanode的节点数。