(完整版)hadoop安装教程

合集下载

Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu_CentOS

Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS本教程讲述如何配置Hadoop 集群，默认读者已经掌握了Hadoop 的单机伪分布式配置，否则请先查看Hadoop安装教程_单机/伪分布式配置或CentOS安装Hadoop_单机/伪分布式配置。

本教程由厦门大学数据库实验室出品，转载请注明。

本教程适合于原生Hadoop 2，包括Hadoop 2.6.0, Hadoop 2.7.1 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，保证按照步骤来，都能顺利安装并运行Hadoop。

另外有Hadoop安装配置简略版方便有基础的读者快速完成安装。

为了方便新手入门，我们准备了两篇不同系统的Hadoop 伪分布式配置教程。

但其他Hadoop 教程我们将不再区分，可同时适用于Ubuntu 和CentOS/RedHat 系统。

例如本教程以Ubuntu 系统为主要演示环境，但对Ubuntu/CentOS 的不同配置之处、CentOS 6.x 与CentOS 7 的操作区别等都会尽量给出注明。

环境本教程使用Ubuntu 14.04 64位作为系统环境，基于原生Hadoop 2，在Hadoop 2.6.0 (stable)版本下验证通过，可适合任何Hadoop 2.x.y 版本，例如Hadoop 2.7.1，Hadoop 2.4.1 等。

本教程简单的使用两个节点作为集群环境: 一个作为Master 节点，局域网IP 为192.168.1.121；另一个作为Slave 节点，局域网IP 为192.168.1.122。

准备工作Hadoop 集群的安装配置大致为如下流程:1.选定一台机器作为Master2.在Master 节点上配置hadoop 用户、安装SSH server、安装Java 环境3.在Master 节点上安装Hadoop，并完成配置4.在其他Slave 节点上配置hadoop 用户、安装SSH server、安装Java 环境5.将Master 节点上的/usr/local/hadoop 目录复制到其他Slave 节点上6.在Master 节点上开启Hadoop配置hadoop 用户、安装SSH server、安装Java 环境、安装Hadoop 等过程已经在Hadoop安装教程_单机/伪分布式配置或CentOS安装Hadoop_单机/伪分布式配置中有详细介绍，请前往查看，不再重复叙述。

hadoop安装流程

hadoop安装流程Hadoop是一个开源的分布式计算平台，可以用于存储和处理大数据集。

在安装Hadoop之前，您需要确保您的系统满足以下要求：硬件要求：-至少2个可用的CPU核心-至少4GB的内存-至少10GB的可用存储空间-网络连接稳定软件要求：- 操作系统：Hadoop支持多种操作系统，包括Linux、Windows和Mac OS X。

- Java：Hadoop是用Java编写的，所以您需要安装Java并配置JAVA_HOME环境变量。

下面是Hadoop的安装流程：第二步：配置环境变量- HADOOP_HOME：指向Hadoop安装目录- JAVA_HOME：指向Java安装目录您可以在.bashrc或.bash_profile文件中添加以下行来设置这些环境变量：```export HADOOP_HOME=/path/to/hadoopexport JAVA_HOME=/path/to/javaexport PATH=$PATH:$HADOOP_HOME/bin```第三步：修改配置文件Hadoop的配置文件位于Hadoop安装目录的`etc/hadoop`目录下。

您需要修改以下几个核心配置文件：1. core-site.xml：```<property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>```2. hdfs-site.xml：```<property><name>dfs.replication</name><value>1</value>```3. mapred-site.xml.template：```<property><name></name><value>yarn</value></property>```4. yarn-site.xml：```<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value>```第四步：格式化HDFS打开终端，进入Hadoop安装目录并执行以下命令来格式化HDFS：```hdfs namenode -format```第五步：启动Hadoop集群在终端中执行以下命令来启动Hadoop集群：```start-dfs.shstart-yarn.sh```您还可以使用以下命令检查集群是否成功启动：```jps```您应该能够看到类似以下输出：```...```至此，您已经成功地安装了Hadoop并启动了一个简单的Hadoop集群。

(完整word版)centos6下安装部署hadoop2.2

centos6下安装部署hadoop2。

2hadoop安装入门版,不带HA，注意理解，不能照抄.照抄肯定出错。

我在安装有centos7（64位）的机器上，使用hadoop2。

5版本，安装验证过，但我没有安装过hadoop2。

2,仅供参考.如果你的(虚拟机)操作系统和JVM/JDK是64位的，就直接安装hadoop 2.5版本,无需按照网上说的去重新编译hadoop，因为它的native库就是64位了；如果你的（虚拟机)操作系统和JVM/JDK是32位的,就直接安装hadoop 2。

4以及之前的版本.安装小技巧和注意事项：1. 利用虚拟机clone的技术。

2. 不要在root用户下安装hadoop，自己先事先建立一个用户。

3。

如果需要方便操作，可以把用户名添加到sudoers文件中，使用sudo命令执行需要root权限的操作。

4。

Linux里面有严格的权限管理，很多事情普通用户做不了，习惯使用windows的同学，需要改变观念。

5。

centos7与之前的版本，在很多命令上有区别，centos与ubuntu有存在很多操作上的差别。

6. Hadoop 2.5版本中的native lib库是64位的，而hadoop 2。

2版本中的native lib库是32位的。

网上教程大多数针对hadoop2。

2写的，如果你是64位的虚拟机，你直接安装Hadoop 2.5版本就行。

7. 确认虚拟机安装并启用了sshd服务后，用xshell客户端连接Linux虚拟机，不要在vmware workstation 里面操作。

用xshell可以非常方便的复制文字和命令等。

学习Hadoop安装的步骤(1)可以先参考网上的资料“虾皮博客”http：//www。

/xia520pi/xia520pi/archive/2012/05/16/2503949.html安装一个hadoop 1.2 版本,熟悉一下，搞明白后,再安装hadoop 2.x版本。

Hadoop集群安装详细步骤亲测有效

Hadoop集群安装详细步骤亲测有效第一步：准备硬件环境- 64位操作系统，可以是Linux或者Windows-4核或更高的CPU-8GB或更高的内存-100GB或更大的硬盘空间第二步：准备软件环境- JDK安装：Hadoop运行需要Java环境，所以我们需要先安装JDK。

- SSH配置：在主节点和从节点之间建立SSH连接是Hadoop集群正常运行的前提条件，所以我们需要在主节点上生成SSH密钥，并将公钥分发到从节点上。

第四步：配置Hadoop- core-site.xml：配置Hadoop的核心参数，包括文件系统的默认URI和临时目录等。

例如，可以将`hadoop.tmp.dir`设置为`/tmp/hadoop`。

- hdfs-site.xml：配置Hadoop分布式文件系统的参数，包括副本数量和块大小等。

例如，可以将副本数量设置为`3`。

- yarn-site.xml：配置Hadoop的资源管理系统（YARN）的参数。

例如，可以设置YARN的内存资源分配方式为容器的最大和最小内存均为1GB。

- mapred-site.xml：配置Hadoop的MapReduce框架的参数。

例如，可以设置每个任务容器的内存限制为2GB。

第五步：格式化Hadoop分布式文件系统在主节点上执行以下命令，格式化HDFS文件系统：```hadoop namenode -format```第六步：启动Hadoop集群在主节点上执行以下命令来启动Hadoop集群：```start-all.sh```此命令将启动Hadoop的各个组件，包括NameNode、DataNode、ResourceManager和NodeManager。

第七步：测试Hadoop集群可以使用`jps`命令检查Hadoop的各个进程是否正常运行，例如`NameNode`、`DataNode`、`ResourceManager`和`NodeManager`等进程都应该在运行中。

Hadoop集群安装详细步骤

Hadoop集群安装详细步骤|Hadoop安装配置文章分类:综合技术Hadoop集群安装首先我们统一一下定义，在这里所提到的Hadoop是指Hadoop Common，主要提供DFS（分布式文件存储）与Map/Reduce的核心功能。

Hadoop在windows下还未经过很好的测试，所以笔者推荐大家在linux（cent os 5.X）下安装使用。

准备安装Hadoop集群之前我们得先检验系统是否安装了如下的必备软件：ssh、rsync和Jdk1.6（因为Hadoop需要使用到Jdk中的编译工具，所以一般不直接使用Jre）。

可以使用yum install rsync来安装rsync。

一般来说ssh是默认安装到系统中的。

Jdk1.6的安装方法这里就不多介绍了。

确保以上准备工作完了之后我们就开始安装Hadoop软件，假设我们用三台机器做Hadoop集群，分别是：192.168.1.111、192.168.1.112和192.168.1.113（下文简称111，112和113），且都使用root用户。

下面是在linux平台下安装Hadoop的过程：在所有服务器的同一路径下都进行这几步，就完成了集群Hadoop软件的安装，是不是很简单？没错安装是很简单的，下面就是比较困难的工作了。

集群配置根据Hadoop文档的描述“The Hadoop daemons are N ameNode/DataNode and JobTracker/TaskTracker.”可以看出Hadoop核心守护程序就是由NameNode/DataNode 和JobTracker/TaskTracker这几个角色构成。

Hadoop的DFS需要确立NameNode与DataNode角色，一般NameNode会部署到一台单独的服务器上而不与DataNode共同同一机器。

另外Map/Reduce服务也需要确立JobTracker和TaskTracker的角色，一般JobTracker与NameNode共用一台机器作为master，而TaskTracker与DataNode同属于slave。

centos安装配置hadoop超详细过程

1、集群部署介绍1.1 Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。

以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。

一个HDFS集群是由一个NameNode和若干个DataNode组成的。

其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。

MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。

主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。

主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。

当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。

从上面的介绍可以看出，HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。

HDFS在集群上实现分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理。

HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了Hadoop分布式集群的主要任务。

1.2 环境说明集群中包括4个节点：1个Master，3个Salve，节点之间局域网连接，可以相互ping通，具体集群信息可以查看"Hadoop集群（第2期）"。

节点IP地址分布如下：机器名称IP地址Master.Hadoo p 192.168.1 .2Salve1.Hadoo p 192.168.1 .3Salve2.Hadoo p 192.168.1 .4Salve3.Hadoo p 192.168.1 .5四个节点上均是CentOS6.0系统，并且有一个相同的用户hadoop。

hadoop安装流程简单描述

hadoop安装流程简单描述英文回答：Hadoop is an open-source software framework for distributed storage and processing of large datasets. It is designed to scale from single servers to thousands of machines, each offering local computation and storage. Here is a simple description of the installation process for Hadoop.Step 1: System Requirements.Before installing Hadoop, make sure your system meets the minimum requirements. Hadoop runs on Java, so you needto have Java Development Kit (JDK) installed on your system. Additionally, you will need a Unix-based system such as Linux or macOS.Step 2: Download Hadoop.Go to the official Apache Hadoop website and download the latest stable release of Hadoop. Choose the versionthat is compatible with your system and download the binary distribution.Step 3: Configure Environment Variables.After downloading Hadoop, set the environment variables in your system. This includes setting the JAVA_HOMEvariable to the location where JDK is installed and adding the Hadoop bin directory to the PATH variable.Step 4: Configure Hadoop.Next, you need to configure Hadoop by editing the configuration files. The core-site.xml, hdfs-site.xml, and mapred-site.xml files need to be configured to specify the Hadoop cluster settings, such as the file system and job tracker.Step 5: Start Hadoop Services.Once the configuration is done, you can start the Hadoop services. This includes starting the Hadoop Distributed File System (HDFS) and the Yet Another Resource Negotiator (YARN) services using the start-dfs.sh andstart-yarn.sh scripts respectively.Step 6: Verify Installation.To verify that Hadoop is installed and running correctly, you can run some sample commands such as creating a directory in HDFS, uploading a file, and running a MapReduce job.Step 7: Additional Configurations.Depending on your specific requirements, you may need to make additional configurations such as setting up security, adding nodes to the cluster, or tuning the performance settings.That's a simple overview of the Hadoop installation process. With these steps completed, you should have abasic Hadoop setup ready for storing and processing large datasets.中文回答：Hadoop是一个用于分布式存储和处理大型数据集的开源软件框架。

hadoop平台搭建-入门详细教程(含视频)

Hadoop平台搭建说明1.Hadoop节点规划本次安装规划使用三个节点，每个节点都使用centos系统。

三个节点的hostname分别规划为：centoshadoop1、centoshadoop2、centoshadoop3（此处为本教程参数，可根据实际环境情况修改）三个节点的ip地址分别规划为：192.168.65.57、192.168.65.58、192.168.65.59（此处为本教程参数，根据实际环境情况修改）2.平台搭建使用的软件下载如下软件操作系统安装包：Centos6.3_x64Jdk安装包：jdk-6u37-linux-x64.binHadoop安装包：hadoop-1.1.2.tar.gz3.安装centos操作系统安装三个节点的操作系统，安装过程省略。

4.配置centoshadoop1节点4.1.修改节点hostname[root@localhost~]#vi/etc/sysconfig/networkHOSTNAME=centoshadoop1[root@localhost~]#vi/etc/hosts……192.168.65.57 centoshadoop1192.168.65.58 centoshadoop2192.168.65.59 centoshadoop3[root@localhost~]#reboot4.2.关闭iptables防火墙[root@ centoshadoop1~]#service iptables stop注意每次操作系统重启后都要操作4.3.建立无ssh密码登陆生成签名文件[root@ centoshadoop1~]#cd /root[root@ centoshadoop1~]#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa[root@ centoshadoop1~]#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys [root@ centoshadoop1~]#测试本地SSH无密码登录[root@ centoshadoop1~]#ssh centoshadoop14.4.安装jdk上传jdk-6u37-linux-x64.bin到/root目录下[root@ centoshadoop1~]#chmod 777 jdk-6u37-linux-x64.bin[root@ centoshadoop1~]#./jdk-6u37-linux-x64.bin[root@ centoshadoop1~]#ll查看生成jdk-6u37-linux-x64目录4.5.安装hadoop软件上传hadoop-1.1.2.tar.gz到/root目录下[root@ centoshadoop1~]#tar -zvxf hadoop-1.1.2.tar.gz[root@ centoshadoop1~]#ll查看生成hadoop-1.1.2目录[root@ centoshadoop1~]#vi /conf/core-site.xml<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name></name><value>hdfs://192.168.65.57:9000</value></property><property><name>hadoop.tmp.dir</name><value>/root/hadoop-1.1.2/tmp</value></property></configuration>[root@ centoshadoop1~]#vi hdfs-site.xml<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration><property><name>dfs.replication</name><value>1</value></property></configuration>[root@ centoshadoop1~]#vi mapred-site.xml<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration><property><name>mapred.job.tracker</name><value>192.168.65.57:9001</value></property></configuration>4.6.配置hadoop数据节点[root@ centoshadoop1~]#vi /root/hadoop-1.1.2/conf/masters 192.168.65.57 #secondaryNameNode[root@ centoshadoop1~]#vi /root/hadoop-1.1.2/conf/slaves 192.168.65.58 #datanode192.168.65.59 #datanode4.7.添加环境变量[root@ centoshadoop1~]#cd /root[root@ centoshadoop1~]#vi /etc/profileexport JAVA_HOME=/root/jdk1.6.0_37export JRE_HOME=/root/jdk1.6.0_37/jreexport HADOOP_HOME=/root/hadoop-1.1.2export HADOOP_HOME_WARN_SUPPRESS=1export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH[root@ centoshadoop1~]#vi ~/.bashrcexport JAVA_HOME=/root/jdk1.6.0_37export JRE_HOME=/root/jdk1.6.0_37/jreexport HADOOP_HOME=/root/hadoop-1.1.2export HADOOP_DEV_HOME=/root/hadoop-1.1.2export HADOOP_COMMON_HOME=/root/hadoop-1.1.2export HADOOP_HDFS_HOME=/root/hadoop-1.1.2export HADOOP_CONF_DIR=/root/hadoop-1.1.2/conf[root@ centoshadoop1~]#vi /root/hadoop-1.1.2/conf/hadoop-env.shexport JAVA_HOME=/root/jdk1.6.0_37export HADOOP_HOME_WARN_SUPPRESS=1export HADOOP_CLASSPATH=/root/hadoop-1.1.2:/root/hadoop-1.1.2/lib5.配置centoshadoop2节点5.1.修改节点hostname[root@localhost~]#vi/etc/sysconfig/networkHOSTNAME=centoshadoop2[root@localhost~]#vi/etc/hosts……192.168.65.57 centoshadoop1192.168.65.58 centoshadoop2192.168.65.59 centoshadoop3[root@localhost~]#reboot5.2.关闭iptables防火墙[root@ centoshadoop1~]#service iptables stop注意每次操作系统重启后都要操作5.3.建立无ssh密码登陆将centoshadoop1节点上/root/.ssh目录下的authorized_keys、known_hosts 、id_rsa.pub、id_rsa四个文件拷贝到本机的/root/.ssh目录下5.4.安装jdk上传jdk-6u37-linux-x64.bin到/root目录下[root@ centoshadoop1~]#chmod 777 jdk-6u37-linux-x64.bin[root@ centoshadoop1~]#./jdk-6u37-linux-x64.bin[root@ centoshadoop1~]#ll查看生成jdk-6u37-linux-x64目录5.5.安装hadoop软件上传hadoop-1.1.2.tar.gz到/root目录下[root@ centoshadoop1~]#tar -zvxf hadoop-1.1.2.tar.gz[root@ centoshadoop1~]#ll查看生成hadoop-1.1.2目录[root@ centoshadoop1~]#vi /conf/core-site.xml<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name></name><value>hdfs://192.168.65.57:9000</value></property><property><name>hadoop.tmp.dir</name><value>/root/hadoop-1.1.2/tmp</value></property></configuration>[root@ centoshadoop1~]#vi hdfs-site.xml<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>dfs.replication</name><value>1</value></property></configuration>[root@ centoshadoop1~]#vi mapred-site.xml<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>mapred.job.tracker</name><value>192.168.65.57:9001</value></property></configuration>5.6.添加环境变量[root@ centoshadoop1~]#cd /root[root@ centoshadoop1~]#vi /etc/profileexport JAVA_HOME=/root/jdk1.6.0_37export JRE_HOME=/root/jdk1.6.0_37/jreexport HADOOP_HOME=/root/hadoop-1.1.2export HADOOP_HOME_WARN_SUPPRESS=1export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH[root@ centoshadoop1~]#vi ~/.bashrcexport JAVA_HOME=/root/jdk1.6.0_37export JRE_HOME=/root/jdk1.6.0_37/jreexport HADOOP_HOME=/root/hadoop-1.1.2export HADOOP_DEV_HOME=/root/hadoop-1.1.2export HADOOP_COMMON_HOME=/root/hadoop-1.1.2export HADOOP_HDFS_HOME=/root/hadoop-1.1.2export HADOOP_CONF_DIR=/root/hadoop-1.1.2/conf[root@ centoshadoop1~]#vi /root/hadoop-1.1.2/conf/hadoop-env.shexport JAVA_HOME=/root/jdk1.6.0_37export HADOOP_HOME_WARN_SUPPRESS=1export HADOOP_CLASSPATH=/root/hadoop-1.1.2:/root/hadoop-1.1.2/lib6.配置centoshadoop3节点6.1.修改节点hostname[root@localhost~]#vi/etc/sysconfig/networkHOSTNAME=centoshadoop3[root@localhost~]#vi/etc/hosts……192.168.65.57 centoshadoop1192.168.65.58 centoshadoop2192.168.65.59 centoshadoop3[root@localhost~]#reboot关闭iptables防火墙、建立无ssh密码登陆、安装jdk、安装hadoop软件、添加环境变量等操作跟“配置centoshadoop2节点”完全相同7.启动运行hadoop平台7.1.首先执行格式化[root@ centoshadoop1~]#hadoop namenode –format注意：core-site.xml、hdfs-site.xml、mapred-site.xml等配置文件变化后都需要执行格式化7.2.启动hadoop[root@ centoshadoop1~]#start-all.sh7.3.停止hadoop[root@ centoshadoop1~]#stop-all.sh7.4.查看hadoop运行状态查看hadoop启动的进程[root@ centoshadoop1~]#jps查看hadoop集群状态[root@ centoshadoop1~]#hadoop dfsadmin -report 查看hadoop中的目录情况[root@ centoshadoop1~]#hadoop fs –ls /。

Hadoop详细安装配置过程

1.下载并安装安装sshsudo apt-get install openssh-server openssh-client3.搭建vsftpd#sudo apt-get update#sudo apt-get install vsftpd配置参考的开始、关闭和重启$sudo /etc/vsftpd start #开始$sudo /etc/vsftpd stop #关闭$sudo /etc/vsftpd restart #重启4.安装sudo chown -R hadoop:hadoop /optcp /soft/ /optsudo vi /etc/profilealias untar='tar -zxvf'sudo source /etc/profilesource /etc/profileuntar jdk*环境变量配置# vi /etc/profile●在profile文件最后加上# set java environmentexport JAVA_HOME=/opt/export CLASSPATH=.:$JAVA_HOME/lib/:$JAVA_HOME/lib/ export PATH=$JAVA_HOME/bin:$PATH配置完成后，保存退出。

●不重启，更新命令#source /etc/profile●测试是否安装成功# Java –version其他问题：出现unable to resolve host 解决方法参考开机时停在Starting sendmail 不动了的解决方案参考安装软件时出现E: Unable to locate package vsftpd 参考vi/vim 使用方法讲解参考分类: Hadoop--------------------------------------------克隆master虚拟机至node1 、node2分别修改master的主机名为master、node1的主机名为node1、node2的主机名为node2 (启动node1、node2系统默认分配递增ip，无需手动修改)分别修改/etc/hosts中的ip和主机名(包含其他节点ip和主机名)---------配置ssh免密码连入hadoop@node1:~$ ssh-keygen -t dsa -P ''-f ~/.ssh/id_dsaGenerating public/private dsa key pair.Created directory '/home/hadoop/.ssh'.Your identification has been saved in/home/hadoop/.ssh/id_dsa.Your public key has been saved in/home/hadoop/.ssh/.The key fingerprint is:SHA256:B8vBju/uc3kl/v9lrMqtltttttCcXgRkQPbVoU hadoop@node1The key's randomart image is:+---[DSA 1024]----+|....||o+.E .||. oo +||..++||o +.o ooo +||=o.. o. ooo. o.||*o....+=o .+++.+|+----[SHA256]-----+hadoop@node1:~$ cd .sshhadoop@node1:~/.ssh$ ll总用量16drwx------ 2 hadoop hadoop 4096 Jul 24 20:31 ./drwxr-xr-x 18 hadoop hadoop 4096 Jul 2420:31../-rw------- 1 hadoop hadoop 668 Jul 24 20:31 id_dsa-rw-r--r-- 1 hadoop hadoop 602 Jul 24 20:31hadoop@node1:~/.ssh$ cat >> authorized_keyshadoop@node1:~/.ssh$ ll总用量20drwx------ 2 hadoop hadoop 4096 Jul 24 20:32 ./drwxr-xr-x 18 hadoop hadoop 4096 Jul 2420:31../-rw-rw-r-- 1 hadoop hadoop 602 Jul 24 20:32 authorized_keys-rw------- 1 hadoop hadoop 668 Jul 24 20:31 id_dsa-rw-r--r-- 1 hadoop hadoop 602 Jul 24 20:31单机回环ssh免密码登录测试hadoop@node1:~/.ssh$ ssh localhostThe authenticity of host'localhost ' can't be established.ECDSA key fingerprint is SHA256:daO0dssyqt12tt9yGUauImOh6tt6A1SgxzSfSmpQqJVEiQTxas. Are you sure you want to continue connecting (yes/no) yesWarning: Permanently added 'localhost'(ECDSA)to the list of known hosts.Welcome to Ubuntu (GNU/Linux x86_64)* Documentation:packages can be updated.178 updates are security updates.New release' LTS' available.Run 'do-release-upgrade'to upgrade to it.Last login: Sun Jul 2420:21:392016from exit注销Connection to localhost closed.hadoop@node1:~/.ssh$出现以上信息说明操作成功,其他两个节点同样操作让主结点(master)能通过SSH免密码登录两个子结点（slave）hadoop@node1:~/.ssh$ scp hadoop@master:~/.ssh/./The authenticity of host'master ' can't be established.ECDSA key fingerprint is SHA256:daO0dssyqtt9yGUuImOh646A1SgxzSfatSmpQqJVEiQTxas.Are you sure you want to continue connecting (yes/no) yesWarning: Permanently added 'master,'(ECDSA)to the list of known hosts.hadoop@master's password:100%603s 00:00 hadoop@node1:~/.ssh$ cat >> authorized_keys如上过程显示了node1结点通过scp命令远程登录master结点，并复制master的公钥文件到当前的目录下，这一过程需要密码验证。

简述hadoop安装步骤

简述hadoop安装步骤简述hadoop安装步骤安装步骤:1、安装虚拟机系统，并进⾏准备⼯作(可安装- ⼀个然后克隆)2.修改各个虚拟机的hostname和host3.创建⽤户组和⽤户4、配置虚拟机⽹络，使虚拟机系统之间以及和host主机之间可以通过相互ping通。

5.安装jdk和配置环境变量，检查是否配置成功6、配置ssh,实现节点间的⽆密码登录ssh node1/2指令验证时候成功7、master 配置hadoop,并将hadoop⽂件传输到node节点8、配置环境变量，并启动hadoop, 检查是否安装成功，执⾏wordcount检查是否成功。

⼆.HDFS作⽤是什么Hadoop分布式⽂件系统(HDFS)是指被设计成适合运⾏在通⽤硬件(commodity hardware)上的分布式⽂件系统（Distributed File System）。

它和现有的分布式⽂件系统有很多共同点。

但同时，它和其他的分布式⽂件系统的区别也是很明显的。

HDFS是⼀个⾼度容错性的系统，适合部署在廉价的机器上。

HDFS能提供⾼吞吐量的数据访问，⾮常适合⼤规模数据集上的应⽤。

HDFS放宽了⼀部分POSIX约束，来实现流式读取⽂件系统数据的⽬的。

HDFS在最开始是作为Apache Nutch搜索引擎项⽬的基础架构⽽开发的。

HDFS是Apache Hadoop Core项⽬的⼀部分。

HDFS有着⾼容错性（fault-tolerant）的特点，并且设计⽤来部署在低廉的（low-cost）硬件上。

⽽且它提供⾼吞吐量（high throughput）来访问应⽤程序的数据，适合那些有着超⼤数据集（large data set）的应⽤程序。

HDFS放宽了（relax）POSIX的要求（requirements）这样可以实现流的形式访问（streaming access）⽂件系统中的数据。

三.常⽤的Hadoop FS Shell命令有哪些及其作⽤1.调⽤Hadoop的⽂件系统Shell（FileSystem Shell）的命令格式：语法：hadoop fs <args>：前提是位置位于hadoop/bin下，其中fs是参数，表⽰FS Shell，<args>是fs的⼦命令2.使⽤FS Shell命令⾏管理⽂件：mkdir -创建⽬录语法：hadoop fs -mkdir <paths>例⼦：hadoop fs -mkdir /user：在HDFS中创建"/user"⽬录hadoop fs -mkdir /user/hadoop：在HDFS中创建"/user/hadoop"⽬录hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2：在HDFS中同时创建"/user/hadoop/dir1"和"/user/hadoop/dir2"，⽬录ls -查看列表⽂件语法：hadoop fs -ls <args>如果是⽂件，则按照如下格式返回⽂件信息：⽂件名<副本数> ⽂件⼤⼩修改⽇期修改时间权限⽤户ID 组ID如果是⽬录，则返回它直接⼦⽂件的⼀个列表cat -查看⽂件语法：hadoop fs -cat URI <URI...>：输出路径指定⽂件的内容例⼦：hadoop fs -cat /input2/file1.txt /input2/file2.txt：在HDFS中查看input2⽬录下的file1.txt和file2.txt的⽂件内容put -从本地⽂件系统中复制⼀个或多个⽂件到HDFS（外部命令）语法：hadoop fs -put <localsrc>...<dst>其中localsrc只能是本地⽂件，dst只能是HDFS⽂件，且不受fs.defaultFS属性影响。

hadoop安装步骤

hadoop安装步骤1.准备Linux环境1.0先将虚拟机的⽹络模式选为NAT1.1修改主机名 hostnamectl set-hostname server11.2修改IP 修改配置⽂件⽅式（修改的是⽹卡信息 ip a 查看⽹卡）,第⼀次启动时没有ip的,需要将⽹卡配置之中 ONBOOT=yes, 然后重启⽹络vim /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE="eth0"BOOTPROTO="static"###HWADDR="00:0C:29:3C:BF:E7"IPV6INIT="yes"NM_CONTROLLED="yes"ONBOOT="yes"TYPE="Ethernet"UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"IPADDR="192.168.1.101"###NETMASK="255.255.255.0"###GATEWAY="192.168.1.1"###1.3修改主机名和IP的映射关系（每台机器都要有）192.168.33.101 server1192.168.33.102 server2192.168.33.103 server31.4关闭防⽕墙#查看防⽕墙状态service iptables status#关闭防⽕墙service iptables stop#查看防⽕墙开机启动状态chkconfig iptables --list#关闭防⽕墙开机启动chkconfig iptables off1.5 关闭linux服务器的图形界⾯：vi /etc/inittab1.6重启Linuxreboot2.安装JDK#创建⽂件夹mkdir /home/hadoop/app#解压tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app2.3将java添加到环境变量中(如果在 .bashrc 之中配置了java环境变量,hadoop 是不需要指定 JAVA_HOME,如果在 /etc/profile 需要指定,因为 ssh 默认不会加载 /et/profile) vim ~/.bashrc#在⽂件最后添加export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585export PATH=$PATH:$JAVA_HOME/bin#刷新配置source ~/.bashrc3.安装hadoop2.4.1（要保证以下⽂件都有读写权限）先上传hadoop的安装包到服务器上去/home/hadoop/分布式需要修改5个配置⽂件3.1配置hadoopvim hadoop-env.shexport JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585第⼆个：core-site.xml<property><name>fs.defaultFS</name><value>hdfs://server1:9000</value><property><name>er</name><value>master</value></property> <property><name>hadoop.tmp.dir</name><value>/opt/modules/hadoop-2.7.0/data/tmp</value></property>第三个：hdfs-site.xml<property><name>dfs.permissions</name><value>false</value></property>第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)<property><name></name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>sserver1:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>server1:19888</value></property>第五个：yarn-site.xml<property><name>yarn.resourcemanager.hostname</name><value>server1</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.log-aggregation-enable</name><value>true</value></property><property><name>yarn.log-aggregation.retain-seconds</name><value>100000</value></property>第六个 salves(代表着 DataNode个数, 在sbin/slaves 之中 ssh 遍历连接)server1server2server33.2将hadoop添加到环境变量vim /etc/proflieexport JAVA_HOME=/usr/java/jdk1.7.0_65export HADOOP_HOME=/master/hadoop-2.4.1export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource /etc/profile3.3 将 app ⽂件夹配置到其他的节点之上(节点信息与master配置信息是⼀样的)scp -r app/ hdp-node-01:/home/slave3.4 格式化namenode（是对namenode进⾏初始化）hdfs namenode -format (hadoop namenode -format)3.5启动hadoop先启动HDFSsbin/start-dfs.shsbin/start-yarn.sh3.6验证是否启动成功使⽤jps命令验证27408 NameNode28218 Jps27643 SecondaryNameNode28066 NodeManager27803 ResourceManager27512 DataNodehttp://192.168.1.101:50070 （HDFS管理界⾯）http://192.168.1.101:8088 （MR管理界⾯）4.配置ssh免登陆#⽣成ssh免登陆密钥#进⼊到我的home⽬录cd ~ssh-keygen -t rsa #四个回车#执⾏完这个命令后，会⽣成两个⽂件id_rsa（私钥）、id_rsa.pub（公钥）# master ,authorized_keys ⽂件(新⽣成)ssh-copy-id -i ~/.ssh/id_rsa.pub localhost#slave, authorized_keys ⽂件(新⽣成),此处是在 /etc/hosts 写⼊的(集群是相同的⽤户名) ssh-copy-id -i ~/.ssh/id_rsa.pub server15，注:更改⽂件夹权限更改⽂件夹权限# 切换超级权限su# 当前⽂件夹所有的⽤户与组chown -R hadoop:hadoop *。

男默女泪系列：Hadoop保姆级安装教程（ContOS7）

男默⼥泪系列：Hadoop保姆级安装教程（ContOS7）1、前⾔此教程是在虚拟机中安装及配置单机伪分布式Hadoop，虽说是保姆级，但是太基本的也不会写出来，不然太费精⼒了。

本教程所涉及的重要信息：jdk版本：jdk1.8.0_221jdk路径：/usr/java/jdk1.8.0_221Hadoop版本：hadoop-2.7.7Hadoop路径：/usr/hadoop/hadoopIP地址：192.168.3.1322、准备⼯作Hadoop Linux版压缩包jdk1.8 Linux版压缩包VM虚拟机（Putty 和 flashfxp如果是安装桌⾯版的，可以装VM提供的tools，来实现复制、粘贴及⽂件拖拽传输）Putty (免安装，ssh连接虚拟机，可以使⽤⿏标右键粘贴)FlashFXP（免安装，传输⽂件⾄虚拟机中）3、安装ContOS 7安装教程可以点击下⾯连接，跳转到我另⼀个教程中4、联⽹及使⽤Putty连接虚拟机系统完成后，接下来就需要联⽹了，由于是最⼩安装，所以，联⽹还需要点操作，具体点击下⾯链接下载前⽂提到的 Putty ⼯具，解压进⼊⽂件夹，双击图⽰.exe⽂件运⾏Putty这⾥的IP根据⾃⼰虚拟机ContOS的IP来填写点击open后，会弹出⼀个窗⼝，点击“是”就可以了。

(⽆图)接下来输⼊账号密码登录，如下图Putty可以在win系统复制后，⿏标右键粘贴5、安装vim编辑器安装之前最好先更新⼀下yum，命令如下：$ yum -y update可以需要等待⽐较久⼀点，耐⼼等待。

完成后，再执⾏vim安装，命令如下：$ yum install vim6、修改节点名称，添加域名映射将节点名称写⼊/etc/hostname，如果没有装vim，使⽤vi编辑器就可以了$ vim /etc/hostname编辑⽂件的⽅式都是这样，后⾯不再详细叙述将节点的 IP 地址与主机名写⼊/etc/hosts 中，完成域名映射的添加$ vim /etc/hosts例如：192.168.3.132 Master(IP 地址可通过 ip addr 命令或ifconfig 查询):wq保持并退出后，重启虚拟机关机后，putty⾃然会强制退出，重新连接上去就可以了。

(完整版)Hadoop安装教程_伪分布式配置_CentOS6.4_Hadoop2.6.0

Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0都能顺利在CentOS 中安装并运行Hadoop。

环境本教程使用CentOS 6.4 32位作为系统环境，请自行安装系统（可参考使用VirtualBox安装CentOS）。

如果用的是Ubuntu 系统，请查看相应的Ubuntu安装Hadoop教程。

本教程基于原生Hadoop 2，在Hadoop 2.6.0 (stable)版本下验证通过，可适合任何Hadoop 2.x.y 版本，例如Hadoop 2.7.1, Hadoop 2.4.1等。

Hadoop版本Hadoop 有两个主要版本，Hadoop 1.x.y 和Hadoop 2.x.y 系列，比较老的教材上用的可能是0.20 这样的版本。

Hadoop 2.x 版本在不断更新，本教程均可适用。

如果需安装0.20，1.2.1这样的版本，本教程也可以作为参考，主要差别在于配置项，配置请参考官网教程或其他教程。

新版是兼容旧版的，书上旧版本的代码应该能够正常运行（我自己没验证，欢迎验证反馈）。

装好了CentOS 系统之后，在安装Hadoop 前还需要做一些必备工作。

创建hadoop用户如果你安装CentOS 的时候不是用的“hadoop” 用户，那么需要增加一个名为hadoop 的用户。

首先点击左上角的“应用程序” -> “系统工具” -> “终端”，首先在终端中输入su，按回车，输入root 密码以root 用户登录，接着执行命令创建新用户hadoop:如下图所示，这条命令创建了可以登陆的hadoop 用户，并使用/bin/bash 作为shell。

CentOS创建hadoop用户接着使用如下命令修改密码，按提示输入两次密码，可简单的设为“hadoop”（密码随意指定，若提示“无效的密码，过于简单”则再次输入确认就行）:可为hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题，执行：如下图，找到root ALL=(ALL) ALL这行（应该在第98行，可以先按一下键盘上的ESC键，然后输入:98 (按一下冒号，接着输入98，再按回车键)，可以直接跳到第98行），然后在这行下面增加一行内容：hadoop ALL=(ALL) ALL（当中的间隔为tab），如下图所示：为hadoop增加sudo权限添加上一行内容后，先按一下键盘上的ESC键，然后输入:wq (输入冒号还有wq，这是vi/vim编辑器的保存方法)，再按回车键保存退出就可以了。

hadoop安装教程

hadoop安装教程1、VMware安装我们使⽤Vmware 14的版本，傻⽠式安装即可。

（只要）双击如过2.安装xshell双击3.安装镜像：解压centos6.5-empty解压双击打开CentOS6.5.vmx如果打不开，在cmd窗⼝中输⼊：netsh winsock reset 然后重启电脑。

进⼊登录界⾯，点击other⽤户名：root密码：root然后右键open in terminal输⼊ifconfig 回车查看ip地址打开xshell点击链接如果有提⽰，则接受输⼊⽤户名：root输⼊密码：root4.xshell连接虚拟机打开虚拟机，通过ifconfig查看ip5.安装jkd1.解压Linux版本的JDK压缩包mkdir：创建⽬录的命令rm -rf ⽬录/⽂件删除⽬录命令cd ⽬录进⼊指定⽬录rz 可以上传本地⽂件到当前的linux⽬录中（也可以直接将安装包拖到xshell窗⼝）ls 可以查看当前⽬录中的所有⽂件tar 解压压缩包（Tab键可以⾃动补齐⽂件名）pwd 可以查看当前路径⽂档编辑命令:vim ⽂件编辑命令i:进⼊编辑状态Esc（左上⾓）：退出编辑状态:wq 保存并退出:q! 不保存退出mkdir /home/software #按习惯⽤户⾃⼰安装的软件存放到/home/software⽬录下cd /home/software #进⼊刚刚创建的⽬录rz 上传jdk tar包 #利⽤xshell的rz命令上传⽂件(如果rz命令不能⽤，先执⾏yum install lrzsz -y ，需要联⽹) tar -xvf jdk-7u51-linux-x64.tar.gz #解压压缩包2.配置环境变量1）vim /etc/profile2）在尾⾏添加#set java environmentJAVA_HOME=/home/software/jdk1.8.0_65JAVA_BIN=/home/software/jdk1.8.0_65/binPATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport JAVA_HOME JAVA_BIN PATH CLASSPATHEsc 退出编辑状态:wq #保存退出注意JAVA_HOME要和⾃⼰系统中的jdk⽬录保持⼀致，如果是使⽤的rpm包安装的jdk，安装完之后jdk的根⽬录为：/usr/java/jdk1.8.0_111，也可以通过命令：rpm -qal|grep jdk 来查看⽬录3）source /etc/profile使更改的配置⽴即⽣效4）java -version查看JDK版本信息。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

1、VMware 安装我们使用Vmware 14的版本，傻瓜式安装即可。

（只要）双击如过2.安装xshell双击3.安装镜像：解压centos6.5-empty 解压双击打开CentOS6.5.vmx如果打不开，在cmd 窗口中输入：netsh winsock reset 然后重启电脑。

进入登录界面，点击other 用户名：root密码：root然后右键open in terminal 输入ifconfig回车查看ip地址xshell打开点击链接如果有提示，则接受输入用户名：root输入密码：root4.xshell 连接虚拟机打开虚拟机，通过ifconfig 查看ip5.安装jkd1. 解压Linux版本的JDK压缩包mkdir：创建目录的命令rm -rf 目录/文件删除目录命令cd 目录进入指定目录rz可以上传本地文件到当前的linux目录中（也可以直接将安装包拖到xshell窗口）ls可以查看当前目录中的所有文件tar解压压缩包（Tab键可以自动补齐文件名）pwd可以查看当前路径文档编辑命令:vim文件编辑命令i:进入编辑状态Esc（左上角）：退出编辑状态:wq保存并退出:q!不保存退出mkdir /home/software#按习惯用户自己安装的软件存放到/home/software目录下cd /home/software #进入刚刚创建的目录rz 上传jdk tar包#利用xshell的rz命令上传文件(如果rz 命令不能用，先执行yum install lrzsz -y ，需要联网)tar -xvf jdk-7u51-linux-x64.tar.gz#解压压缩包2. 配置环境变量1）vim /etc/profile2）在尾行添加#set java environmentJAVA_HOME=/home/software/jdk1.8.0_65JAVA_BIN=/home/software/jdk1.8.0_65/binPATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport JAVA_HOME JAVA_BIN PATH CLASSPATHEsc退出编辑状态:wq#保存退出注意JAVA_HOME要和自己系统中的jdk目录保持一致，如果是使用的rpm包安装的jdk，安装完之后jdk的根目录为：/usr/java/jdk1.8.0_111，也可以通过命令：rpm -qal|grep jdk 来查看目录3）source /etc/profile使更改的配置立即生效4）java -version查看JDK版本信息。

如显示版本号则证明成功。

6.安装hadoop1. 安装配置jdk、关闭防火墙service iptables stop执行该命令可以关闭防火墙，但是如果虚拟机重启的话，防火墙会重新开启。

chkconfig iptables off执行该命令可以永久关闭防火墙。

两个命令配合使用2. 修改主机名vim /etc/sysconfig/network注意：主机名里不能有下滑线，或者特殊字符#$，不然会找不到主机，从而导致无法启动。

这种方式更改主机名需要重启才能永久生效，因为主机名属于内核参数。

如果不想重启，可以执行：hostname hadoop01。

但是这种更改是临时的，重启后会恢复原主机名。

所以可以结合使用。

先修改配置文件，然后执行:hostname hadoop01。

可以达到不重启或重启都是主机名都是同一个的目的3. 配置hosts文件vim /etc/hosts修改hosts文件，以后用到IP连接的地方就可以直接使用hadoop01代替IP地址了。

4. 配置免密码登录ssh-keygen这里只需要回车，无需输入。

ssh-copy-id root@hadoop01想从这台机器免密登录哪个机器，就把公钥文件发送到哪个机器上。

5. 安装配置jdk（省略）6. 上传和解压hadoop安装包过程省略，解压路径为：要记着这个路径，后面的配置要用到。

bin目录：命令脚本etc/hadoop:存放hadoop的配置文件lib目录：hadoop运行的依赖jar包sbin目录：启动和关闭hadoop等命令都在这里libexec目录：存放的也是hadoop命令，但一般不常用最常用的就是bin和etc目录7. 在hadoop根目录下创建tmp目录mkdir tmp存放Hadoop运行时产生的文件目录8. 配置hadoop-env.sh文件cd etc/hadoopvim hadoop-env.sh修改JAVA_HOME路径和HADOOP_CONF_DIR 路径，注意路径一定要写对，里面原始的获取系统路径的方式不起作用。

(修改两个地方）Al l th i n gexport JAVA_HOME=/home/software/jdk1.8.0_65# The jsvc implementation to use. Jsvc is required to run secure datanodes# data transfer protocol using non-privileged ports.#export JSVC_HOME=${JSVC_HOME}export HADOOP_CONF_DIR=/home/software/hadoop-2.7.1/etc/hadoop :wq退出source hadoop-env.sh让配置立即生效9. 修改core-site.xmlvim core-site.xml在<configuration></configuration>标签中添加如下代码<configuration ><property ><name >fs.defaultFS </name ><value >hdfs://hadoop01:9000</value ></property ><property ><name >hadoop.tmp.dir </name ><value >/home/software/hadoop-2.7.1/tmp </value ></property ></configuration>10. 修改 hdfs-site .xmlvim hdfs-site.xml在<configuration></configuration>标签中添加如下代码<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.permissions</name><value>false</value></property></configuration><!--第一个property参数指定hdfs保存数据副本的数量，包括自己，默认值是3。

如果是伪分布模式，此值是1 -->11. 修改 mapred-site.xmlcp mapred-site.xml.template mapred-site.xml拷贝模板文件并重命名vim mapred-site.xml在<configuration></configuration>标签中添加如下代码<configuration><property><name></name><value>yarn</value></property></configuration>yarn是Hadoop的资源协调工具。

12. 修改yarn-site.xmlvim yarn-site.xml在<configuration></configuration>标签中添加如下代码<configuration><property><name>yarn.resourcemanager.hostname</name><value>hadoop01</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration> 13. 配置slaves文件vim slaveshadoop0114. 配置hadoop的环境变量vim /etc/profile修改配置文件，使hadoop命令可以在任何目录下执行，下面是修改后的代码JAVA_HOME=/home/software/jdk1.8.0_111HADOOP_HOME=/home/software/hadoop-2.7.1JAVA_BIN=/home/software/jdk1.8.0_111/binPATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/s bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/to ols.jarexport JAVA_HOME JAVA_BIN PATH CLASSPATH HADOOP_HOME加粗的地方都是需要修改的地方，注意PATH多个参数值之间用冒号隔开，所有的参数都在$PATH之前source /etc/profile使配置文件生效15. 格式化namenodehadoop namenode -format中间如果提示是否需要重新格式化，则根据自己的需求输入即可。