Centos7安装和配置hadoop2.7.3的流程和总结
Hadoop集群安装与部署v2
Hadoop集群安装与部署目录1.目的： (4)2.集群构成： (4)2.1.集群构成图： (4)2.2.集群构成明细： (4)3.Hadoop安装前的准备： (8)3.1.安装JDK (8)3.2.修改/etc/hosts文件 (9)3.3.增加Hadoop集群专有用户............. 错误!未定义书签。
3.4.安装和配置SSH (10)4.安装和配置Hadoop集群 (13)4.1.在NameNode节点安装Hadoop (13)4.2.修改search用户环境设置文件 (13)4.3.在NameNode节点配置Hadoop (14)4.3.1配置hadoop-env.sh文件 (15)4.3.2配置core-site.xml文件 (15)4.3.3配置mapred-site.xml文件 (16)4.3.4配置hdfs-site.xml文件 (17)4.3.5配置yarn-site.xml文件 (18)4.3.6配置主、从节点列表文件 (18)4.4.远程复制Hadoop到集群其他节点 (18)5.启动Hadoop集群 (19)5.1.系统格式化 (19)5.2.启动集群 (19)5.2.1启动HDFS分布式文件系统 (19)5.2.2启动YARN资源管理器 (20)5.2.3验证集群运行状况 (20)6 mapreduce 测试1.目的：本手册旨在熟悉Hadoop2.X（hadoop-2.7.3）集群的安装与配置过程。
通过本手册的内容，使用户可以搭建一个拥有三个节点的Hadoop集群。
2.集群构成：2.1.集群构成图：Secondary NameNode 192.168.82.109:50090DataNodeDataNode 192.168.82.1072.2.集群构成明细：该集群一共有三个安装了64位CentOS7系统的服务器节点。
如下：Node：Name Node的主机名IP地址为：master（192.168.80.100）；2.Secondary NameNode & DataNode1：DataNode1同时兼做Secondary NameNode使用。
centos7安装配置Hadoop集群
centos7安装配置Hadoop集群2、安装3台虚拟机并实现SSH免密登录(1）安装三台虚拟机centos7第⼀台正常安装，后两台做克隆。
配置好IP地址，关闭防⽕墙跟SELINUX。
106.14.69.185 server1121.5.218.141 server2（2）修改⽤户名以及对应的IP# vi /etc/hostname改为server1# vi /etc/hosts另外两台虚拟机也按同样的设置，例如：centos7 2 为server2设置完成后每台虚拟机都需要重启，重启⽣效。
配置完成后使⽤ping命令检查这3个机器是否相互ping得通，以server1为例，在什么执⾏命令：（3）进⾏SSH免密互登设置#ssh-keygen -t dsa在命令执⾏过程中敲击两遍回车，然后在/root/.ssh⽂件下⽣成id_dsa id_dsa.pub在该⽂件下建⽴⼀个authorized_keys⽂件，将id_dsa.pub⽂件内容拷贝到authorized_keys⽂件中另外两个虚拟机也执⾏ #ssh-keygen -t dsa操作，并分别将id_dsa.pub内容拷贝到第⼀台虚拟机的authorized_keys⽂件中。
将第⼀台的authorized_keys⽂件拷贝到另外两台虚拟机的/root/.ssh/ 下⾯3、给3台机器安装JAVA环境4、给3台机器安装Hadoop注意：以下搭建过程中的端⼝设置，请先检查个⼈服务器是否有端⼝冲突1 解压hadoop2新建⼏个⽬录在/root⽬录下新建⼏个⽬录，复制粘贴执⾏下⾯的命令：mkdir /root/hadoopmkdir /root/hadoop/tmpmkdir /root/hadoop/varmkdir /root/hadoop/dfsmkdir /root/hadoop/dfs/namemkdir /root/hadoop/dfs/data(3)修改etc/hadoop中的⼀系列配置⽂件/opt/hadoop/hadoop-3.2.0/etc/hadoop/修改core-site.xml在<configuration>节点内加⼊配置:<property><name>hadoop.tmp.dir</name><value>/root/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name></name><value>hdfs://server1:9000</value></property>注意：<value>hdfs://server1:9000</value>此处应与hostname保持⼀致修改hadoop-env.sh将export JAVA_HOME=${JAVA_HOME}修改为：export JAVA_HOME=/var/liangxiaodong/soft/jdk1.8.0_202修改hdfs-site.xml<property><name>.dir</name><value>/root/hadoop/dfs/name</value><description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description> </property><property><name>dfs.data.dir</name><value>/root/hadoop/dfs/data</value><description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description></property><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.permissions</name><value>false</value><description>need not permissions</description></property>说明：dfs.permissions配置为false后，可以允许不要检查权限就⽣成dfs上的⽂件，⽅便倒是⽅便了，但是你需要防⽌误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true新建并且修改mapred-site.xml在该版本中，有⼀个名为mapred-site.xml的⽂件，复制该⽂件，后改名mapred-site.xml.template，命令是：cp mapred-site.xml mapred-site.xml.template修改这个新建的mapred-site.xml⽂件，在<configuration>节点内加⼊配置:<property><name>mapred.job.tracker</name><value>server1:49001</value></property><property><name>mapred.local.dir</name><value>/root/hadoop/var</value></property><property><name></name><value>yarn</value></property>注意：<value>server1:49001</value>修改worker⽂件（hadoop3.2版本没有slaves⽂件,之前版本修改slaves⽂件）修改worker⽂件，将⾥⾯的localhost删除，添加如下内容：server2server3第⼆台虚拟机添加如下内容：<property><name>yarn.resourcemanager.hostname</name><value>server1</value></property><property><description>The address of the applications manager interface in the RM.</description><name>yarn.resourcemanager.address</name><value>${yarn.resourcemanager.hostname}:8032</value></property><property><description>The address of the scheduler interface.</description><name>yarn.resourcemanager.scheduler.address</name><value>${yarn.resourcemanager.hostname}:8030</value></property><property><description>The http address of the RM web application.</description><name>yarn.resourcemanager.webapp.address</name><value>${yarn.resourcemanager.hostname}:8088</value></property><property><description>The https adddress of the RM web application.</description><name>yarn.resourcemanager.webapp.https.address</name><value>${yarn.resourcemanager.hostname}:8090</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>${yarn.resourcemanager.hostname}:8031</value></property><property><description>The address of the RM admin interface.</description><name>yarn.resourcemanager.admin.address</name><value>${yarn.resourcemanager.hostname}:8033</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.scheduler.maximum-allocation-mb</name><value>2048</value><discription>每个节点可⽤内存,单位MB,默认8182MB</discription></property><property><name>yarn.nodemanager.vmem-pmem-ratio</name><value>2.1</value></property><property><name>yarn.nodemanager.resource.memory-mb</name><value>2048</value></property><property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value></property>注意：端⼝号与⾥⾯的值，后期优化配置需要修改，第⼀次配可以全复制。
hadoop2.7.3安装和配置
hadoop2.7.3安装和配置一、安装环境硬件：虚拟机操作系统：Centos 6.4 64位IP：192.168.241.128主机名：admin安装用户：root二、安装JDK安装JDK1.8或者以上版本。
这里安装jdk1.8.0_121。
下载地址：/technetwork/java/javase/downloads/ind ex.html1，下载jdk-8u121-linux-x64.tar.gz，解压到/usr/Java/jdk1.8。
2，在/root/.bash_profile中添加如下配置：export JAVA_HOME=/usr/java/jdk1.8export PATH=$JAVA_HOME/bin:$PATH3，使环境变量生效，#source ~/.bash_profile4，安装验证# java -versionJava version "1.8.0_121"Java(TM) SE Runtime Environment (build 1.8.0_121-b13)Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)查看启动端口：netstat -ntpl 查看防火墙：iptables -L /-F关闭三，配置SSH无密码登陆ssh-keygen -t rsassh-keygen -t dsacat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys 注：> :重定向cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 注：>>:追加chmod 700 ~/.ssh/ 注：~/.ssh 目录的权限必须是700chmod 600 ~/.ssh/authorized_keys 注：~/.ssh/authorized_keys 文件权限必须是600#服务器配置1.修改sshd配置文件(su root -->> vi /etc/ssh/sshd_config)找到以下内容，并去掉注释符号"#"================================RSAAuthentication yesPubkeyAuthentication yesAuthorizedKeysFile .ssh/authorized_keys================================重启sshd:$ /etc/init.d/sshd restart验证ssh，# ssh localhost不需要输入密码即可登录。
centos 7+hadoop2.7.3详细安装教程
centos 7+hadoop2.7.3详细安装教程前言：Hadoop 运行在jar环境下，因此安装hadoop的前提是得在系统上安装好jdk。
本次实验环境使用centos7进行安装。
需要安装的工具：1．虚拟机2．Centos 7镜像文件3．Filezilla（用于上传本地下载的hadoop镜像到centos系统，以及可以远程操作linux 文件系统）4．secureCrt（远程连接linux，敲指令方便。
本次安装的linux是没有图形界面的，命令窗口不能复制粘贴，因此使用secureCRT操作linux系统，方便后续修改hadoop 文件时可以复制粘贴）5．JDK镜像6．Hadoop2.7.3镜像文件一、虚拟机安装a)安装最新版本，具体安装方法比较简单，请上网自行搜索。
b)安装按虚拟机后，需要配置虚拟机的网络连接方式。
本次hadoop安装实验环境将会部署三个集群（一个namenode和两个DataNode），因此采用nat连接方式配置网络。
具体配置如下：选择编辑-虚拟网络编辑器-VMnet8注意：NAT设置里面网关IP地址为你的网段地址+2,，如我设置的网段是192.168.100，因此我的网关IP地址是192.169.100.2二、安装三台centos7（三台安装方式一样，仅是里面IP地址配置不一样。
具体安装多少台视各位看官需要配置多少集群而定）a)文件菜单选择新建虚拟机b)选择经典类型安装，下一步。
c)选择稍后安装操作系统，下一步。
d)选择Linux系统，版本选择CentOS7 64位。
e)命名虚拟机，给虚拟机起个名字，将来显示在Vmware左侧。
并选择Linux系统保存在宿主机的哪个目录下，应该一个虚拟机保存在一个目录下，不能多个虚拟机使用一个目录。
f)指定磁盘容量，是指定分给Linux虚拟机多大的硬盘，默认20G就可以，下一步。
g)点击自定义硬件，可以查看、修改虚拟机的硬件配置，这里我们不做修改。
centos安装配置hadoop超详细过程
1、集群部署介绍1.1 Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。
以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。
对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。
一个HDFS集群是由一个NameNode和若干个DataNode组成的。
其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。
MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。
主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。
主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。
当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。
从上面的介绍可以看出，HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。
HDFS在集群上实现分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理。
HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了Hadoop分布式集群的主要任务。
1.2 环境说明集群中包括4个节点：1个Master，3个Salve，节点之间局域网连接，可以相互ping通，具体集群信息可以查看"Hadoop集群（第2期）"。
节点IP地址分布如下：机器名称IP地址Master.Hadoo p 192.168.1 .2Salve1.Hadoo p 192.168.1 .3Salve2.Hadoo p 192.168.1 .4Salve3.Hadoo p 192.168.1 .5四个节点上均是CentOS6.0系统，并且有一个相同的用户hadoop。
hadoop-集群搭建步骤(centos7)
Hadoop集群搭建目录(注：此所有操作相关命令在CentOS7下)Hadoop集群搭建 (1)目录 (1)1、基础集群环境搭建 (1)1.1、安装JDK (1)1.2、修改主机名称，关闭防火墙 (2)1.3、添加内网域名映射 (2)1.4、配置免密码登录 (2)2、Hadoop集群环境安装 (3)2.1、Hadoop版本选择 (3)2.2、安装Hadoop (3)2.2.1、Hadoop伪分布式模式安装 (3)2.2.2、Hadoop分布式集群安装 (4)3、集群初步使用 (7)3.1、Hadoop集群启动 (7)3.2、HDFS集群初步使用 (7)4、Hadoop集群安装高级知识 (7)4.1、Hadoop HA安装 (7)1、基础集群环境搭建1.1、安装JDK1、上传jdk-8u151-linux-x64.tar.gz2、解压到usr目录下tar-zxvf jdk-8u151-linux-x64.tar.gz3、配置环境变量(1)vim/etc/profile(2)在最后加入：JAVA_HOME=/usr/java1.8PATH=$JAVA_HOME/bin:$PATHexport JAVA_HOME PATH(3)保存退出4、source/etc/profile5、检测是否安装成功，输入命令：java-version做完以上步骤，可以开始克隆虚拟机。
因为以上系统的配置，都是一些基础性的操作。
都是必须的1.2、修改主机名称，关闭防火墙1、root账号下使用命令：hostnamectl set-hostname hadoop022、Xshell关闭连接窗口，重新连接即可更改过来3、关闭防火墙（CentOS7）(1)firewall-cmd--state#查看防火墙状态(2)systemctl stop firewalld.service#停止firewall(3)systemctl disable firewalld.service#禁止firewall开机启动1.3、添加内网域名映射1、修改配置文件：vim/etc/hosts1.4、配置免密码登录1、在root登录状态下，输入命令ssh-keygen或者ssh-keygen-t rsa2、之后你会发现，在/root/.ssh目录下生成了公钥文件3、使用一个简单的方式，使用命令：ssh-copy-id hadoop02建立hadoop01到hadoop02的免密码登录2、Hadoop集群环境安装2.1、Hadoop版本选择1、Apache官方版本：1.X2.X 2.6.5 2.7.53.0.12、商业发行版本提供完善的管理系统，修复bug可能会领先于官方版本Cloudera公司的CDH：5.7.X2.2、安装Hadoop2.2.1、Hadoop伪分布式模式安装Hadoop可以在单节点上以伪分布式的方式运行，Hadoop进程以分离的Java进程来运行，节点即作为NameNode也作为DataNode，同时，读取的是HDFS中的文件。
RedHat7 Hadoop-2.7.3 集群
1. 集群规划192.168.12.58 c1kylinsrv58 zk-3.4.12 + hadoop-2.7.3(Namenode+Datanode)192.168.12.59 c1kylinsrv59 zk-3.4.12 + hadoop-2.7.3(YarnManager+Datanode+SecondaryNameNode) 192.168.12.60 c1kylinsrv60 zk-3.4.12 + hadoop-2.7.3(Datanode)2. 设定固定IP地址vi /etc/sysconfig/network-scripts/ifcfg-ens1603. 修改主机名hostnamectl4. 修改hosts文件vi /etc/hosts5. 安装JDK(所有节点）6. SSH免密登录7. 配置hadoop 7-1) 解压cd /mnt/apptar xzvf hadoop-2.7.3.tar.gz7-2) 创建存放数据的目录（必须事先创建好，否则会报错)mkdir -p /mnt/app/hadoop-2.7.3/data/full/tmp/mkdir -p /mnt/app/hadoop-2.7.3/data/full/tmp/dfs/namemkdir -p /mnt/app/hadoop-2.7.3/data/full/tmp/dfs/data7-3) 配置/opt/hadoop-2.7.3/etc/hadoop下面的配置文件#定位到配置文件目录cd /mnt/app/hadoop-2.7.3/etc/hadoopvim core-site.xmlvim yarn-site.xmlyarn的日志监控功能默认是处于关闭状态的，需要我们进行开启vim slavesvim mapred-site.xmlvim hdfs-site.xmlvim hadoop-env.sh8. 配置环境变量(每台机器都必须做)vim /etc/profileexport HADOOP_HOME=/mnt/app/hadoop-2.7.3export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinexport LD_LIBRARY_PATH=$HADOOP_HOME/lib/nativesource /etc/profile9. 启动NameNode:(master 58)#格式化namenodehdfs namenode -format#启动dfs:(master 58上)start-dfs.sh#启动Yarn：yarn节点(59上)#注意：Namenode和ResourceManger如果不是同一台机器，#不能在NameNode上启动yarn，#应该在ResouceManager所在的机器上启动yarn。
详细步骤安装CentOS 7系统
详细步骤安装CentOS7系统目录目录 (I)第一章安装前准备 (1)1.1制作U盘启动盘 (1)第二章安装系统 (2)2.1安装CentOS7系统 (2)2.2网络配置 (19)2.3关闭防火墙 (23)2.4设置网卡开机启动 (23)第一章安装前准备1.1制作U盘启动盘CentOS7系统镜像下载,如：CentOS-7-x86_64-DVD-1611.iso 使用UltraISO工具将CentOS7的ISO镜像写入安装U盘。
1、如上图，打开UltraISO软件2、选择菜单“文件->打开”打开CentOS7的ISO镜像。
3、选择菜单“启用->写入硬盘映像”，单击写入，直到写入完成。
第二章安装系统2.1安装CentOS7系统在服务器上插入U盘启动盘后，设置操作系统为U盘启动（步骤略），开机后自动跳转到CentOS 系统安装界面，按以下步骤操作：第一步：CentOS7安装欢迎界面。
显示上图安装欢迎界面，直接按键盘“Enter”键进入到下一个页面。
第二步：如上图，按任意键继续。
第三步：见上图，自检加载系统文件。
第四步：见上图，选择安装语言，此处选择“中文”->“简体中文（中国）”，单击“继续”。
第五步：如上图，单击“软件选择(S)”。
第六步：见上图，选择基本环境为“带GUI的服务器”，单击“完成(N)”。
第七步：如上图，软件选择中显示“带GUI的服务器”。
第八步：如上图，单击“安装位置(D)”。
操作系统磁盘500GB数据盘（RAID5）55TB第九步：选择“我要配置分区(I)”，单击“完成(D)”,如上图。
进入磁盘配置界面，可以看到硬盘驱动器中当前的硬盘，现场安装时需按下表情况来配置。
第十步：如上图，操作“+”,添加分区。
第十一步：：如上图，创建swap分区。
期望容量;8192MB为swap分区大小设备类型;统一选择标准分区文件系统;swap设备：注意这里为sda第十二步:如上图，创建系统盘，创建后与上图保持一致。
Hadoop2.7.3完全分布式集群搭建和测试
Hadoop2.7.3完全分布式集群配置和测试环境配置：虚拟机：vmware w orkstation 12系统：ubuntu 16.04 LTS（推荐使用原版，不要用kylin）节点：192.168.159.132 master192.168.159.134 node1192.168.159.137 node2j dk-8u101-L i nux-x64.g z(J a v a)h a doop-2.7.3.t a r.g z(H a doop包)安装步骤：1、安装虚拟机系统，并进行准备工作（可安装一个然后克隆）2.修改各个虚拟机的hostname和host3.创建用户组和用户4、配置虚拟机网络，使虚拟机系统之间以及和host主机之间可以通过相互ping通。
5.安装jdk和配置环境变量，检查是否配置成功6、配置ssh，实现节点间的无密码登录ssh node1/2指令验证时候成功7、master配置hadoop，并将hadoop文件传输到node节点8、配置环境变量，并启动hadoop，检查是否安装成功，执行wordcount检查是否成功。
1.安装虚拟机在V M上安装下载好的U bun t u的系统，具体过程自行百度。
可以安装完一个以后克隆，但是本人安装过程中遇到很多问题，经常需要删除虚拟机，重新安装，而被克隆的虚拟机不能删除，所以本人就用了很长时候，一个一个安装。
一共3台虚拟机：分配情况和IP地址如下：（注：查看ip地址的指令ifconfig）安装虚拟机时可以设置静态I P，因为过程中常常遇到网络连接问题,i f c on f i g找不到I P V4地址。
当然，也可以不设，默认分配。
参考h tt p://b l og.c s dn.n e t/w o l f_s ou l/a r ti c l e/d e t a il s/46409323192.168.159.132 master2.修改虚拟机的hostname 和hosts 文件以m a s t e r 上机器为例，打开终端，执行如下的操作，把ho s t n a m e 修改成m a s t e r ，ho s t s 修改成如下所示的样子： #修改hostname 的指令：sudo gedit /etc/hostname#修改hosts 指令：sudo gedit /etc/hosts#将以下内容添加到hosts 中192.168.159.132 master192.168.159.134 node1192.168.159.137 node2如下图所示:同样地，在node1和node2机器上做相似的操作，分别更改主机名为node1和node2，然后把hosts 文件更改和master 一样。
centos7 教程
centos7 教程CentOS 7 是一种基于企业级 Linux 发行版的操作系统。
CentOS（Community Enterprise Operating System）是由CentOS 项目团队开发的，可免费使用并且具有长期维护支持。
在本教程中，我们将介绍 CentOS 7 的一些常见操作和配置。
1. 安装 CentOS 7a. 下载 CentOS 7 ISO 镜像文件。
b. 创建启动盘或虚拟机并加载镜像。
c. 启动计算机或虚拟机并按照安装程序的指导完成安装。
2. 连接到网络a. 使用命令 `ifconfig` 检查网络接口的状态。
b. 使用命令 `nmcli` 配置网络连接。
例如，`nmcli con add ifname eth0 type ethernet autoconnect yes`。
3. 更新软件包a. 执行命令 `yum update` 来更新系统和安装的软件包。
4. 安装软件包a. 使用命令 `yum install` 安装软件包。
例如，`yum install httpd` 安装 Apache Web 服务器。
5. 配置防火墙a. 使用命令 `firewall-cmd` 配置防火墙规则。
例如，`firewall-cmd --permanent --zone=public --add-service=http` 允许 HTTP 流量通过防火墙。
6. 设置 SELinuxa. 使用命令 `sestatus` 检查 SELinux 状态。
b. 使用命令 `setenforce` 设置 SELinux 模式。
例如，`setenforce 0` 设置 SELinux 为宽容模式。
7. 配置用户和权限a. 使用命令 `useradd` 添加用户。
例如，`useradd -m -s/bin/bash username` 添加一个新用户。
b. 使用命令 `passwd` 设置用户密码。
CentOS7Hadoop安装（完全分布式）
CentOS7Hadoop安装（完全分布式）⼀、hadoop集群安装模式单机模式直接解压，⽆需任何配置。
主要⽤于测试代码。
没有分布式⽂件系统。
伪分布式完全分布式的⼀种形式，只是所有的进程都配置要⼀个节点上。
有分布式⽂件系统，只不过是这个⽂件系统只有⼀个节点。
完全分布式包含主节点和从节点，主节点namenode只有⼀个（⼀般来说，真实⽣产环境中namenode只会单独作为⼀个节点）namenode主要负责存储元数据，即datanode存储数据的描述，如数据存储在datanode的哪⼀个节点上，数据是谁上传的。
datanode负责真正⼲活的，负责数据存储的。
完全分布式中，如果namenode宕机了会造成整个集群⽆法使⽤，这也是完全分布式的⼀⼤缺点，存在单点故障问题。
所以在⼀般⽣产环境中不太使⽤这种模式。
⾼可⽤集群集群可以持续对外提供服务，做到7*24⼩时不间断，依赖于zookeeper。
完全分布式的架构模式为⼀主多从，⾼可⽤集群架构为多主多从，也就是说⾼可⽤集群⾄少有两个namenode，但是同⼀时间只有⼀个是活跃的。
我们把这个活跃的namenode称为active，其它的属于热备份状态，这们把这个namenode称之为standby，并且存储的元数据与active是⼀模⼀样的，当active宕机的时候，standby会⽴马切换为active。
如果刚才宕机的namenode⼜恢复正常了，但是这个namenode只能是standby。
但是这个集群也存在⼀个缺陷，就是在同⼀时间内只能有⼀个活跃的namenode。
如果节点⾮常多（即元数据过多），这个活跃的namenode很容易崩溃。
联邦机制同⼀个集群中可以有多个namenode，并且同⼀时间可以有多个活跃的namenode，这些namenode 共同使⽤集群中所有的datanode，每个namenode只负责管理集群中datanode上的⼀部分数据。
但是联邦机制也会存在单点故障问题，如某⼀个活跃的namenode宕机了，会造成存在此namenode的数据⽆法访问，因此，⼀般的来说实际应⽤使⽤“联邦+⾼可⽤”模式搭建集群。
CentOS7搭建hadoop2.7.3完全分布式(1)
CentOS7下搭建hadoop2.7.3完全分布式这里搭建的是3个节点的完全分布式，即1个nameNode，2个dataNode，分别如下：CentOS-master nameNode 192.168.11.128CentOS-node1 dataNode 192.168.11.131CentOS-node2 dataNode 192.168..11.1321.首先创建好一个CentOS虚拟机，将它作为主节点我这里起名为CentOS-master，起什么都行，不固定要求2.VMware中打开虚拟机，输入java -version，检查是否有JDK环境，不要用系统自带的openJDK版本，要自己安装的版本3.输入systemctl status firewalld.service ，若如图，防火墙处于running状态，则执行第4和第5步，否则直接进入第6步4.输入systemctl stop firewalld.service ，关闭防火墙5.输入systemctl disable firewalld.service ，禁用防火墙6.输入mkdir /usr/local/hadoop 创建一个hadoop的文件夹7.将hadoop的tar包放到刚创建好的目录8.进入hadoop目录，输入 tar -zxvf hadoop-2.7.3.tar.gz 解压tar包9.输入vi /etc/profile ，配置环境变量10.加入如下内容，保存并退出HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3/PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin11.输入 . /etc/profile ，使环境变量生效12.任意目录输入hado ，然后按Tab，如果自动补全为hadoop，则说明环境变量配的没问题，否则检查环境变量哪出错了13.创建3个之后要用到的文件夹，分别如下：mkdir /usr/local/hadoop/tmpmkdir -p /usr/local/hadoop/hdfs/namemkdir /usr/local/hadoop/hdfs/data14.进入hadoop解压后的 /etc/hadoop 目录，里面存放的是hadoop的配置文件，接下来要修改这里面一些配置文件15.有2个.sh文件，需要指定一下JAVA的目录，首先输入 vi hadoop-env.sh 修改配置文件16.将原有的JAVA_HOME注释掉，根据自己的JDK安装位置，精确配置JAVA_HOME如下，保存并退出export JAVA_HOME=/usr/local/java/jdk1.8.0_102/17.输入 vi yarn-env.sh 修改配置文件18.加入如下内容，指定JAVA_HOME，保存并退出export JAVA_HOME=/usr/local/java/jdk1.8.0_10219.输入 vi core-site.xml 修改配置文件20.在configuration标签中，添加如下内容，保存并退出，注意这里配置的hdfs:master:9000是不能在浏览器访问的<property><name> </name><value>hdfs://master:9000</value><description>指定HDFS的默认名称</description></property><property><name>fs.defaultFS</name><value>hdfs://master:9000</value><description>HDFS的URI</description></property><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop/tmp</value><description>节点上本地的hadoop临时文件夹</description> </property>21.输入 vi hdfs-site.xml 修改配置文件22.在configuration标签中，添加如下内容，保存并退出<property><name>.dir</name><value>file:/usr/local/hadoop/hdfs/name</value><description>namenode上存储hdfs名字空间元数据 </description></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/hdfs/data</value><description>datanode上数据块的物理存储位置</description></property><property><name>dfs.replication</name><value>1</value><description>副本个数，默认是3,应小于datanode机器数量</description></property>23.输入 cp mapred-site.xml.template mapred-site.xml 将mapred-site.xml.template 文件复制到当前目录，并重命名为mapred-site.xml24.输入 vi mapred-site.xml 修改配置文件25.在configuration标签中，添加如下内容，保存并退出<property><name>mapred.job.tracker</name><value>hadoop-master:9001</value><description>change your own hostname</description></property><property><name></name><value>yarn</value><description>指定mapreduce使用yarn框架</description></property>26.输入 vi yarn-site.xml 修改配置文件27.在configuration标签中，添加如下内容，保存并退出<property><name>yarn.resourcemanager.hostname</name><value>master</value><description>指定resourcemanager所在的hostname</description> </property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value><description>NodeManager上运行的附属服务。
男默女泪系列：Hadoop保姆级安装教程（ContOS7）
男默⼥泪系列：Hadoop保姆级安装教程（ContOS7）1、前⾔此教程是在虚拟机中安装及配置单机伪分布式Hadoop，虽说是保姆级，但是太基本的也不会写出来，不然太费精⼒了。
本教程所涉及的重要信息：jdk版本：jdk1.8.0_221jdk路径：/usr/java/jdk1.8.0_221Hadoop版本：hadoop-2.7.7Hadoop路径：/usr/hadoop/hadoopIP地址：192.168.3.1322、准备⼯作Hadoop Linux版压缩包jdk1.8 Linux版压缩包VM虚拟机（Putty 和 flashfxp如果是安装桌⾯版的，可以装VM提供的tools，来实现复制、粘贴及⽂件拖拽传输）Putty (免安装，ssh连接虚拟机，可以使⽤⿏标右键粘贴)FlashFXP（免安装，传输⽂件⾄虚拟机中）3、安装ContOS 7安装教程可以点击下⾯连接，跳转到我另⼀个教程中4、联⽹及使⽤Putty连接虚拟机系统完成后，接下来就需要联⽹了，由于是最⼩安装，所以，联⽹还需要点操作，具体点击下⾯链接下载前⽂提到的 Putty ⼯具，解压进⼊⽂件夹，双击图⽰.exe⽂件运⾏Putty这⾥的IP根据⾃⼰虚拟机ContOS的IP来填写点击open后，会弹出⼀个窗⼝，点击“是”就可以了。
(⽆图)接下来输⼊账号密码登录，如下图Putty可以在win系统复制后，⿏标右键粘贴5、安装vim编辑器安装之前最好先更新⼀下yum，命令如下：$ yum -y update可以需要等待⽐较久⼀点，耐⼼等待。
完成后，再执⾏vim安装，命令如下：$ yum install vim6、修改节点名称，添加域名映射将节点名称写⼊/etc/hostname，如果没有装vim，使⽤vi编辑器就可以了$ vim /etc/hostname编辑⽂件的⽅式都是这样，后⾯不再详细叙述将节点的 IP 地址与主机名写⼊/etc/hosts 中，完成域名映射的添加$ vim /etc/hosts例如：192.168.3.132 Master(IP 地址可通过 ip addr 命令或ifconfig 查询):wq保持并退出后，重启虚拟机关机后，putty⾃然会强制退出，重新连接上去就可以了。
Hadoop2.7.3完全分布式集群搭建_光环大数据培训
Hadoop2.7.3完全分布式集群搭建_光环大数据培训光环大数据培训认为，集群如下：192.168.188.111 master192.168.188.112 slave1192.168.188.113 slave2一、环境配置1.修改hosts和hostname以master为例：修改hosts[[email protected] ~]# vim /etc/hosts192.168.188.111 master192.168.188.112 slave1192.168.188.113 slave2修改hostname[[email protected] ~]# vim /etc/hostname同样地，在slave1和slave2做相同的hostname操作，分别命名为slave1和slave2.然后分别把slave1和slave2的hosts文件更改为和master一样。
2.配免密登录次文章重点不在配免密登录，所有略，可以看其他博客。
3.配置环境变量[[email protected] ~]# vim /etc/profile#javaexport JAVA_HOME=/root/package/jdk1.8.0_121export PATH=$PATH:$JAVA_ HOME/bin#sparkexport SPARK_HOME=/root/package/spark-2.1.0-bin-hadoop2.7e xport PATH=$PATH:$SPARK_HOME/bin#ANACONDAexport ANACONDA=/root/anaconda2 export PATH=$PATH:$ANACONDA/bin#HADOOPexport HADOOP_HOME=/root/package/h adoop-2.7.3export HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HO ME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HAD OOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexpor t PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/binexport HADOOP_INSTALL=$HA DOOP_HOME输入source /etc/profile 使配置文件生效。
Hadoop2.7.3+Hbase-1.2.6完全分布式安装部署
Hadoop2.7.3+Hbase-1.2.6完全分布式安装部署Hadoop安装部署基本步骤：1、安装jdk，配置环境变量。
jdk可以去⽹上⾃⾏下载，环境变量如下：编辑 vim /etc/profile ⽂件，添加如下内容：export JAVA_HOME=/opt/java_environment/jdk1.7.0_80（填写⾃⼰的jdk安装路径）export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$PATH:$JAVA_HOME/bin输⼊命令，source /etc/profile 使配置⽣效分别输⼊命令，java 、 javac 、 java -version，查看jdk环境变量是否配置成功2、linux环境下，⾄少需要3台机⼦，⼀台作为master，2台（以上）作为slave。
这⾥我以3台机器为例，linux⽤的是CentOS 6.5 x64为机器。
master 192.168.172.71slave1 192.168.172.72slave2 192.168.172.733、配置所有机器的hostname和hosts。
（1）更改hostname，可以编辑 vim /etc/sysconfig/network 更改master的HOSTNAME，这⾥改为HOSTNAME=master 其它slave为HOSTNAME=slave1、HOSTNAME=slave2 ，重启后⽣效。
或者直接输： hostname 名字，更改成功，这种⽅式⽆需重启即可⽣效， 但是重启系统后更改的名字会失效，仍是原来的名字 （2）更改host，可以编辑 vim /etc/hosts，增加如下内容： 192.168.172.71 master 192.168.172.72 slave1 192.168.172.73 slave2 hosts可以和hostname不⼀致，这⾥为了好记就写⼀致了。
centos环境下hadoop的安装与配置实验总结
centos环境下hadoop的安装与配置实验总结实验总结：CentOS环境下Hadoop的安装与配置一、实验目标本次实验的主要目标是学习在CentOS环境下安装和配置Hadoop，了解其基本原理和工作机制，并能够运行简单的MapReduce程序。
二、实验步骤1. 准备CentOS环境：首先，我们需要在CentOS上安装和配置好必要的基础环境，包括Java、SSH等。
2. 下载Hadoop：从Hadoop官方网站下载Hadoop的稳定版本，或者使用CentOS的软件仓库进行安装。
3. 配置Hadoop：解压Hadoop安装包后，需要进行一系列的配置。
这包括设置环境变量、配置文件修改等步骤。
4. 格式化HDFS：使用Hadoop的命令行工具，对HDFS进行格式化，创建其存储空间。
5. 启动Hadoop：启动Hadoop集群，包括NameNode、DataNode等。
6. 测试Hadoop：运行一些简单的MapReduce程序，检查Hadoop是否正常工作。
三、遇到的问题和解决方案1. 环境变量配置问题：在配置Hadoop的环境变量时，有时会出现一些问题。
我们需要检查JAVA_HOME是否设置正确，并确保HADOOP_HOME 在PATH中。
2. SSH连接问题：在启动Hadoop集群时，需要确保各个节点之间可以通过SSH进行通信。
如果出现问题，需要检查防火墙设置和SSH配置。
3. MapReduce程序运行问题：在运行MapReduce程序时，可能会遇到一些错误。
这通常是由于程序本身的问题，或者是由于HDFS的权限问题。
我们需要仔细检查程序代码，并确保运行程序的用户有足够的权限访问HDFS。
四、实验总结通过本次实验，我们深入了解了Hadoop的安装和配置过程，以及如何解决在安装和运行过程中遇到的问题。
这对于我们今后在实际应用中部署和使用Hadoop非常重要。
同时，也提高了我们的实践能力和解决问题的能力。
hadoop安装实验总结
hadoop安装实验总结Hadoop安装实验总结一、引言Hadoop是一个开源的分布式计算平台，用于存储和处理大规模数据集。
在本次实验中，我们将介绍Hadoop的安装过程，并总结一些注意事项和常见问题的解决方法。
二、安装过程1. 确定操作系统的兼容性：Hadoop支持多种操作系统，包括Linux、Windows等。
在安装之前，我们需要确认所使用的操作系统版本与Hadoop的兼容性。
2. 下载Hadoop软件包：我们可以从Hadoop的官方网站或镜像站点上下载最新的稳定版本的Hadoop软件包。
确保选择与操作系统相对应的软件包。
3. 解压缩软件包：将下载的Hadoop软件包解压缩到指定的目录下。
可以使用命令行工具或图形界面工具进行解压缩操作。
4. 配置环境变量：为了方便使用Hadoop命令行工具，我们需要配置环境变量。
在Linux系统中，可以编辑.bashrc文件，在其中添加Hadoop的安装路径。
在Windows系统中，可以通过系统属性中的环境变量设置来配置。
5. 配置Hadoop集群：在Hadoop的安装目录下，找到conf文件夹，并编辑其中的配置文件。
主要包括core-site.xml、hdfs-site.xml 和mapred-site.xml等。
根据实际需求，配置Hadoop的相关参数，如文件系统路径、副本数量、任务调度等。
6. 格式化文件系统：在启动Hadoop之前，需要先格式化文件系统。
使用命令行工具进入Hadoop的安装目录下的bin文件夹，并执行格式化命令：hadoop namenode -format。
7. 启动Hadoop集群：在命令行工具中输入启动命令：start-all.sh（Linux）或start-all.cmd（Windows）。
Hadoop集群将会启动并显示相应的日志信息。
8. 验证Hadoop集群：在启动Hadoop集群后，我们可以通过访问Hadoop的Web界面来验证集群的运行状态。
6.配置HADOOP平台
CentOS7配置Hadoop平台素材：Vmware10 CentOS7 xshell xftp注：本文以centOS7为例详细步骤：一、新建目录二、修改/usr/local/hadoop/etc/hadoop中的配置文件2.1修改core-site.xml2.2修改hadoop-env.sh2.3修改hdfs-site.xml2.4修改mapred-site.xml2.5修改yarn-site.xml文件2.6修改workers2.7配置/usr/local/hadoop/sbin/目录下start-dfs.sh、start-yarn.sh、stop-dfs.sh、stop-yarn.sh文件使用命令切换目录配置好后，开启slave，使用scp命令将master上的/usr/local/hadoop 文件夹传递到slave。
三、启动hadoop3.1 格式化namenode因为master是namenode，slave是datanode，所以只需要对master进行初始化操作，也就是对hdfs进行格式化。
3.2启动Hadoop3.3运行结果电脑端打开访问地址http://192.168.200.133:9870/在本地浏览器里访问如下地址：http://192.168.200.133:8088/如果格式化报错A.检查主机名是否设置hostnameB.检查hosts映射vi /etc/hostsC.检查免密登录分别在两台机器上执行ssh master ssh slaveD.检查Hadoop配置文件如果启动之后jps查看少进程主机有五个进程：jps nameNode dataNode resourceManager nodeManager从机有四个进程：jps datanode nodeManager secon daryNode第一步：检查配置文件第二步：删除主机和从机/root 下面的hadoop目录命令：rm -rf /root/hadoop。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
CentOS7安装完整流程及总结一、前言配置一台master服务器，两台（或多台）slave服务器，master 可以无密码SSH登录到slave。
卸载centos7自带的openjdk,通过SecureCRT的rz命令上传文件到服务器,解压安装JDK，解压安装Hadoop，配置hadoop的、、、文件。
配置好之后启动hadoope服务，用jps命令查看状态。
再运行hadoop自带的wordcount程序做一个Hello World实例。
二、准备工作我的系统：windows 10 家庭普通中文版cpu:intel i5内存：8G64位操作系统需要准备的软件和文件（全部是64位安装包）1.虚拟机：VMware 12 Pro 官网下载：选择DVD ISO(标准版) 及以上，官网下载：下载地址：version 三、安装过程提示：先创建一台虚拟机,安装好centos7系统，使用VMware 的克隆功能，克隆另外两台虚拟机。
这样可以节省时间。
虚拟机设置（根当三台虚拟机安装好之后，获得它们的IP地址,并设置主机名，据实际IP地址和主机名）修改/etc/hosts文件内容为：1、vi /etc/hosts命令修改，然后保存（vi的相关命令见引用来源16）2、more /etc/hosts查看3、重启后，hosts生效。
命令： reboot nowSSH免密码登录提示：我全程用的都是root用户，没有另外创建用户。
每台服务器都生成公钥，再合并到authorized_keys。
1)CentOS默认没有启动ssh无密登录，去掉/etc/ssh/sshd_config其中2行的注释，每台服务器都要设置，2)#RSAAuthentication yes3)#PubkeyAuthentication yes4)输入命令，ssh-keygen -t rsa，生成key，都不输入密码，一直回车，/root就会生成.ssh文件夹，每台服务器都要设置，5)合并公钥到authorized_keys文件，在master服务器，进入/root/.ssh目录，通过SSH命令合并，（~/.ssh/ 是省略的写法，要根据实际路径来确定）6)cat >> authorized_keys7)ssh cat ~/.ssh/ >> authorized_keys8)ssh. cat ~/.ssh/ >> authorized_keys9)把master服务器的authorized_keys、known_hosts复制到slave服务器的/root/.ssh目录scp -r /root/.ssh/authorized_keys:/root/.ssh/scp -r /root/.ssh/known_hosts:/root/.ssh/scp -r /root/.ssh/authorized_keys:/root/.ssh/scp -r /root/.ssh/known_hosts:/root/.ssh/10)完成后，ssh、ssh或者(ssh、ssh ) 就不需要输入密码直接登录到其他节点上。
Secure CRT连接虚拟机1、在VMware中把三台虚拟机启动，如下图所示：2、打开SecureCRT,在一个session里连接三台虚拟机，就可以登录实现操作。
Fiel->Quick ConnectionProtocol:ssh2 前提条件是在中实现了ssh免密码登录Hostname: 连接的主机名Username: root 连接主机的用户名Connect依次连接好三台虚拟机3、结果如下：4、上传windows系统中的文件到虚拟机中定位到要上传文件的目录下，输入命令：rz，回车后，弹出文件选择窗口，选择文件，点击add,再OK。
文件就上传到当前服务器的当前目录下。
rz命令如果没有安装，使用这个命令安装：yum install lrzsz安装JDK需要JDK7，由于我的CentOS自带了OpenJDK，所以要先卸载，然后解压下载的JDK并配置变量即可。
1)在/home目录下创建java目录，然后使用rz命令，上传“”到/home/java目录下，2)解压，输入命令，tar -zxvf3)编辑/etc/profile4)使配置生效，输入命令，source /etc/profile5)输入命令，java -version，完成安装提要1)secureCRT 上传“，放到/home/hadoop目录下2)只在master服务器解压，再复制到slave服务器（scp命令传输）3)解压，输入命令，tar -xzvf 在/home/hadoop目录下创建数据存放的文件夹，tmp、dfs、dfs/data、dfs/name（文件中会用到）配置文件1、/home/hadoop/目录下的<configuration><property><value></property><property><name><value> /home/hadoop/tmp</value> </property><property><name><value>131702</value></property></configuration>2、配置/home/hadoop/目录下的<configuration><property><value></property><property><name><value></property><property><name></name><value>1</value></property><property><name><value>:50090</value> </property><property><name><value>true</value></property></configuration>3、配置/home/hadoop/目录下的<configuration><property><name> <value>yarn</value><final>true</final></property><property><name> <value>:50030</value></property><property><name> <value>:10020</value></property><property><name> <value>:19888</value></property><property><name> <value>:9001</value></property></configuration>4、配置/home/hadoop/目录下的<configuration><property><name><value>mapreduce_shuffle</value></property><property> <name> <value></property><property><name> <value>:8032</value> </property><property><name> <value>:8030</value> </property><property><name> <value>:8031</value> </property><property><name> <value>:8033</value> </property><property><name> <value>:8088</value></property><property><name> <value></value></property><property><name> <value>2048</value></property></configuration>提示：的值一定要注意，在最后的hello world程序运行时，会提示内存太小，（hadoop运行到: Running job后停止运行）我把它从1024改成了20485、配置/home/hadoop/目录下、的JAVA_HOME取消注释，设置为export JAVA_HOME=/home/java/、配置/home/hadoop/目录下的slaves，删除默认的localhost，增加2个slave节点:7、将master服务器上配置好的Hadoop复制到各个节点对应位置上，通过scp传送scp -r /home/hadoopscp -r /home/hadoop 启动hadoop提示：在master服务器启动hadoop，各从节点会自动启动，进入/home/hadoop/目录，hadoop的启动和停止都在master服务器上执行。
1)初始化，在目录下输入命令，bin/hdfs namenode –format2)启动命令sbin/sbin/3)输入命令，jps，可以看到相关信息master上看到slave上4)停止命令，依次执行：sbin/、sbin/至此，hadoop配置完成了。