Hadoop+Spark配置手册 - V3

第一章：Hadoop 2.6.1伪分布式配置手册第一步：安装虚拟机环境1.虚拟机环境：VMware workstation 8.0Centos 6.52.文件资源：安装过程中所需要的Centos, Jdk, Hadoop包等可以在如下地址获取ftp://10.221.18.114/3.虚拟机安装：由于机器性能和内存所限，安装虚拟机的时候请调低内存大小，建议调至512M。

在安装Centos系统时请选择命令行模式，尽量不要以图形界面安装，要不然在做虚拟机集群的时候会很卡。

4.关闭防火墙：用chkconfig iptables off 命令关linux掉防火墙5.配置虚拟机网络访问方式6.重启系统7.启动网卡：在虚拟机安装好CentOS后，网卡默认没有启动。

通过“ ifup eth0 ” 命令启动网卡（如果你的网卡不是eth0, 则选则相应网卡）以便后续通过ssh 工具将安装文件从windows 主机传至虚拟机第二步: 创建Hadoop 用户1.使用groupadd创建一个的组 hadoop 命令：groupadd hadoop2.向hadoop组中加入hadoop用户：useradd –g hadoop 和hadoop3.创建hadoop 组用户密码：第三步：配置SSH无密码登录(/article/2fb0ba4043124a00f2ec5f0f.html)1.在root 用户下修改/etc/ssh/sshd_config，将其中三行的注释去掉，如下所示：2.切换至hadoop 用户下，用”ssh-keygen -t rsa” 命令生成密钥对：ssh-keygen -t rsa -P ''3.切换到cd /home/hadoop/目录，修改 .ssh文件夹权限为700chmod 700 .ssh4.进入.ssh目录cd /.ssh 生成authorized_keys并将其权限设为6005.用ssh localhost 测试结果 (CentOS6.5 装好以后没有ssh-client，所以还需下载并安装ssh-client才能运行ssh 命令yum install openssh-clients)第四步：安装JDK1.在root 用户下安装JDK，安装好的jdk 在/usr/java下2.配置环境变量：在/etc/profile中加入两个新的变量JAVA_HOME和PATH#Add envirable for jdk and hadoopJAVA_HOME=/usr/java/jdk1.7.0_71PATH=$PATH:$JAVA_HOME/bin执行source /etc/profile3.验证环境变量：第五步：安装Hadoop1.在root用户下将hadoop 文件解压到 /usr/local 下.tar -zxvf hadoop-2.6.1.tar.gz -C /usr/local/2.将hadoop 用户赋予解压后的hadoop 文件chown -Rhadoop:hadoop hadoop-2.6.13.4.修该hadoop文件的权限为775chmod –R 755 hadoop-2.6.15.修改环境变量JAVA_HOME=/usr/java/jdk1.7.0_71$JAVA_HOME/bin:$PATHHADOOP_HOME=/usr/local/hadoop-2.6.1PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/Sbin6.在/var 下创建hadoop 文件夹用于保存节点数据文件，同时将hadoop组用户赋予该文件夹并将其权限改为7757.修改hadoop 环境变量文件分别在如下两个文件中，添加环境变量设置：${HADOOP_HOME}/etc/hadoop/hadoop-env.sh${HADOOP_HOME}/etc/hadoop/yarn-env.sh注明：HADOOP_HOME就是安装hadoop的文件夹，在本示例中即代表”/usr/local”配置设置如下：export JAVA_HOME=/usr/java/jdk1.7.0_75export HADOOP_HOME=/usr/local/hadoop-2.5.1export HADOOP_LOG_DIR=/var/hadoop/logsexport HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"export JAVA_HOME=/usr/java/jdk1.7.0_71export HADOOP_HOME=/usr/local/hadoop-2.6.1export HADOOP_LOG_DIR=/var/hadoop/logsexport HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"8.修改/etc/hosts文件将本机Ip地址映射为一个hostname例如：我的本机ip 为：192.168.130，将其映射为hadoop.dataNode2（这个名字可以随便定义）, 这个名字会在接下来的配置中使用9.配置hadoop xml 文件1.配置core-site.xml 文件添加如下配置：<property><name>fs.defaultFS</name><value>hdfs://hadoop.dataNode2:9000</value></property><property><name>hadoop.tmp.dir</name><value>/var/hadoop</value></property>2.配置hdfs-site.xml 文件添加如下配置：<property><name>dfs.replication</name><value>1</value></property><property><name>dfs.http.address</name><value>hadoop.dataNode2:50070</value> </property>3.配置mapred-site.xml 文件注：Hadoop2.5 没有mapred-site.xml 文件，要将mapred-site.xml.template复制一份改名为mapred-site.xml添加如下配置：<property><name></name><value>yarn</value></property>4.配置yarn-site.xml 文件添加如下配置：<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value> </property><property><name>yarn.resourcemanager.hostname</name><value>hadoop.dataNode2</value></property>10.在hadoop 用户下执行hadoop namenode –format 命令11.启动hadoop 服务在hadoop 安装目录下的sbin 目录下启动start-all.sh 命令12.验证启动服务：用 jps 命令查看启动结果，如果出现如下所示6个加载项，则表示启动成功：13.浏览器验证启动结果：在浏览器输入：http://192.168.10.130:50070/，出现如下界面表示安装成功：第二章：配置hadoop 集群在配置hadoop 集群前，建议先在每个单一节点上配置好伪分布式环境，这样可以减少集群时出错的概率.第一步：配置无密码登录环境1.在每台机器上配置主机名，所以节点都一样例如：在第一章的伪分布式环境配置中我把Node1 作为name node, 把hadoop.dataNode1, hadoop.dataNode2 作为两个data node, 所以配置如下所示:2.配置无密码ssh 登录将name node 的id_rsa.pub 文件分别追加到两个data node 的authorized_keys 中例如：先将nameNode1 的id_rsa.pub 文件拷至dataNode1, dataNode2中然后在dataNode1, dataNode2 节点中分别将来自nameNode1的id_rsa-tmp.pub 追加到各自的authorized_keys文件中(追加完后请将id_rsa-tmp.pub 删掉)3.在每台节点上重启ssh 服务，使配置生效service sshd restart4.验证无密码登录第二步：配置hadoop文件分别在每台节点上配置hadoop文件(也可配置好一台后复制到另一台)1.配置slaves 节点路径：${HADOOP_HOME}/etc/hadoop/slaves2.配置core-site.xml配置内容：<property><name>fs.defaultFS</name><value>hdfs://Node1:9000</value></property><property><name>hadoop.tmp.dir</name><value>/var/hadoop</value></property><property><name>hadoop.proxyuser.hduser.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.hduser.groups</name><value>*</value></property>3.配置 hdfs-site.xml配置内容：<property><name>dfs.replication</name><value>3</value></property><property><name>.dir</name><value>file:/var/hadoop/dfs/name</value> </property><property><name>dfs.datanode.data.dir</name><value>file:/var/hadoop/dfs/data</value> </property><property><name>dfs.webhdfs.enabled</name><value>true</value></property>4.配置mapred-site.xml配置内容：<property><name></name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>Node1:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name> <value>Node1:19888</value></property>5.配置yarn-site.xml配置内容：<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.resourcemanager.hostname</name><value>Node1</value></property><property><name>yarn.resourcemanager.address</name><value>Node1:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>Node1:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>Node1:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>Node1:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>Node1:8088</value></property>第三步：格式化文件并启动服务1.在name node 上以hadoop用户执行格式化命令hadoop namenode –format2.在name node 上以hadoop用户启动服务3.在name node 上运行jps查看服务项，出现以下服务表示成功4.在两个data node 上查看服务加载项，出现以下服务表示成功5.访问name node 的50070页面查看运行状态6.异常：a.若出现: JAVA_HOME is not set and could not be found.在确认Java环境变量没问题的情况下可以修改${HADOOP_HOME}/etc/hadoop/hadoop-env.sh修改export JAVA_HOME=${JAVA_HOME}为绝对路径。