hadoop伪分布式搭建2.0

合集下载

Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu_CentOS

Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS

本教程讲述如何配置Hadoop 集群，默认读者已经掌握了Hadoop 的单机伪分布式配置，否则请先查看Hadoop安装教程_单机/伪分布式配置或CentOS安装Hadoop_单机/伪分布式配置。

本教程由厦门大学数据库实验室出品，转载请注明。本教程适合于原生Hadoop 2，包括Hadoop 2.6.0, Hadoop 2.7.1 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，保证按照步骤来，都能顺利安装并运行Hadoop。另外有Hadoop安装配置简略版方便有基础的读者快速完成安装。

为了方便新手入门，我们准备了两篇不同系统的Hadoop 伪分布式配置教程。但其他Hadoop 教程我们将不再区分，可同时适用于Ubuntu 和CentOS/RedHat 系统。例如本教程以Ubuntu 系统为主要演示环境，但对Ubuntu/CentOS 的不同配置之处、CentOS 6.x 与CentOS 7 的操作区别等都会尽量给出注明。

环境

本教程使用Ubuntu 14.04 64位作为系统环境，基于原生Hadoop 2，在Hadoop 2.6.0 (stable)版本下验证通过，可适合任何Hadoop 2.x.y 版本，例如Hadoop 2.7.1，Hadoop 2.4.1 等。

本教程简单的使用两个节点作为集群环境: 一个作为Master 节点，局域网IP 为192.168.1.121；另一个作为Slave 节点，局域网IP 为192.168.1.122。

Hadoop伪分布式安装

Hadoop伪分布式安装1.安装Hadoop（伪分布式）

上传Hadoop

将hadoop-2.9.2.tar.gz 上传到该目录

解压

将Hadoop添加到环境变量

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存并退出vim

验证环境变量是否正确hadoop version

修改配置文件hadoop-env.sh

保存并退出vim

修改配置文件core-site.xml

保存并退出vim

修改配置文件hdfs-site.xml

</property>

保存并退出vim

格式化HDFS

hdfs namenode -format

格式化成功的话，在/bigdata/data目录下可以看到dfs目录

启动NameNode

启动DataNode

查看NameNode管理界面

在windows使用浏览器访问http://bigdata:50070可以看到HDFS的管理界面

如果看不到，(1)检查windows是否配置了hosts;

位于C:\Windows\System32\drivers\etc\hosts

关闭HDFS的命令

2.配置SSH免密登录生成密钥

回车四次即可生成密钥

复制密钥，实现免密登录

根据提示需要输入“yes”和root用户的密码

新的HDFS启停命令

免密登录做好以后，可以使用start-dfs.sh和stop-dfs.sh命令启停HDFS，不再需要使用hadoop-daemon.sh脚本

stop-dfs.sh

注意：第一次用这个命令可能还是需要输入yes，按提示输入即可。

在linux中安装Hadoop教程-伪分布式配置-Hadoop2.6.0-Ubuntu14.04

在linux中安装Hadoop教程-伪分布式配置-Hadoop2.6.0-

Ubuntu14.04

注：该教程转⾃厦门⼤学⼤数据课程学习总结

装好了 Ubuntu 系统之后，在安装 Hadoop 前还需要做⼀些必备⼯作。

创建hadoop⽤户

如果你安装 Ubuntu 的时候不是⽤的 “hadoop” ⽤户，那么需要增加⼀个名为 hadoop 的⽤户。

⾸先按 ctrl+alt+t 打开终端窗⼝，输⼊如下命令创建新⽤户 :

sudo useradd -m hadoop -s /bin/bash

这条命令创建了可以登陆的 hadoop ⽤户，并使⽤ /bin/bash 作为 shell。

sudo命令本⽂中会⼤量使⽤到sudo命令。sudo是ubuntu中⼀种权限管理机制，管理员可以授权给⼀些普通⽤户去执⾏⼀些需要root权限执⾏的操作。当使⽤sudo命令时，就需要输⼊您当前⽤户的密码.

密码在Linux的终端中输⼊密码，终端是不会显⽰任何你当前输⼊的密码，也不会提⽰你已经输⼊了多少字符密码。⽽在windows系统中,输⼊密码⼀般都会以“*”表⽰你输⼊的密码字符

接着使⽤如下命令设置密码，可简单设置为 hadoop，按提⽰输⼊两次密码：

sudo passwd hadoop

可为 hadoop ⽤户增加管理员权限，⽅便部署，避免⼀些对新⼿来说⽐较棘⼿的权限问题：

sudo adduser hadoop sudo

最后注销当前⽤户（点击屏幕右上⾓的齿轮，选择注销），返回登陆界⾯。在登陆界⾯中选择刚创建的 hadoop ⽤户进⾏登陆。

简述hadoop伪分布式安装配置过程

Hadoop伪分布式安装配置过程

在进行Hadoop伪分布式安装配置之前，首先需要确保系统环境符合安装要求。Hadoop的安装需要在Linux系统下进行，并且需要安装好Java环境。以下将详细介绍Hadoop伪分布式安装配置的步骤。

一、准备工作

1. 确保系统为Linux系统，并且已经安装好Java环境。

2. 下载Hadoop安装包，并解压至指定目录。

二、配置Hadoop环境变量

1. 打开.bashrc文件，添加以下内容：

```bash

export HADOOP_HOME=/path/to/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

export HADOOP_CONF_DIR=/path/to/hadoop/etc/hadoop export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

```

2. 执行以下命令使环境变量生效：

```bash

source ~/.bashrc

```

三、配置Hadoop

1. 编辑hadoop-env.sh文件，设置JAVA_HOME变量：

```bash

export JAVA_HOME=/path/to/java

```

2. 编辑core-site.xml文件，添加以下内容：

```xml

Cygwin+Eclipse搭建Hadoop开发环境

Cygwin的安装

1.先在/install.html上下载安装文件打开后双击setup.exe安装。如下图：

2. 直接点击下一步后如下图：

图中有三个选项，意思一看就懂啊。这里直选择下一步3.直接点击下一步后如下图:

这里是要选择安装路径，设置在哪里都可以。没有特殊要求。

4. 设置好路径后下一步进入下图：

这是设置Cygwin安装文件的目录。先安装的exe只是个引导它需要自己下载安装文件。设置这个目录就是存储这些文件的。

5.设置好后下一步进入下图：

这里是你网络的链接方式，第一个是直接链接，第二个是使用IE代理，第三个使用你指定的HTTP/FTP代理。你要根据你自己的情况选择。通常选第一个如不好使则查看你的联网是否使用了代理用了就选下面两个中的一个。

6.设置好后下一步进入下图：

选择其中一个url用作下载的站点。我选第一就行挺快的。你的不行可以试试别的。也可以在下面的User URL中添加url写完地址一点Add就加入到上面的url列表中了。然后选择你自己加入的url即可。如果自己加入可以尝试一下这个url：/pub/。然后点击下一步进行安装文件的下载，需要点时间。如果点击下一步后出现这个错误Internal Error: gcrypt library error 60 illegal tag。就是上一步网络选择的问题或者选择的url不能下载。自己可以尝试改动一下。

正常下载的话也可能出现一个警告窗口如下图：

点击确定即可。随即会进入下图。

7. 来到此图就要开始进行一些配置了。选择一下要安装的包。如下图：

Hadoop2.2.0+Hbase0.98.1+Sqoop1.4.4+Hive0.13完全安装手册

Hadoop2.2.0+Hbase0.98.1+Sqoop1.4.4+Hive0.13

完全安装手册

前言： (3)

一. Hadoop安装（伪分布式） (4)

1. 操作系统 (4)

2. 安装JDK (4)

1> 下载并解压JDK (4)

2> 配置环境变量 (4)

3> 检测JDK环境 (5)

3. 安装SSH (5)

1> 检验ssh是否已经安装 (5)

2> 安装ssh (5)

3> 配置ssh免密码登录 (5)

4. 安装Hadoop (6)

1> 下载并解压 (6)

2> 配置环境变量 (6)

3> 配置Hadoop (6)

4> 启动并验证 (8)

前言：

网络上充斥着大量Hadoop1的教程，版本老旧，Hadoop2的中文资料相对较少，本教程的宗旨在于从Hadoop2出发，结合作者在实际工作中的经验，提供一套最新版本的Hadoop2相关教程。

为什么是Hadoop2.2.0，而不是Hadoop2.4.0

本文写作时，Hadoop的最新版本已经是2.4.0，但是最新版本的Hbase0.98.1仅支持到Hadoop2.2.0，且Hadoop2.2.0已经相对稳定，所以我们依然采用2.2.0版本。

一. Hadoop安装（伪分布式）

1. 操作系统

Hadoop一定要运行在Linux系统环境下，网上有windows下模拟linux环境部署的教程，放弃这个吧，莫名其妙的问题多如牛毛。

2. 安装JDK

1> 下载并解压JDK

我的目录为：/home/apple/jdk1.8

2> 配置环境变量

打开/etc/profile，添加以下内容：

hadoop2.x伪集群部署

作者：穿越 --教程来源于网络，回归于网络

前置准备

1 分析

Hadoop 2.0 里的 HA实现方式。作为了解, 如下图：

HA(High Available)：高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。

ZK(Zookeeper):用作NN 的高活框架

ZKFC(ZooKeeper FailoverController):ZooKeeper故障切换控制器

NN(nameNode):

DN(dataNode):

JN(Journal Node):两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信

基于上图分析，我们最少需要4台虚机（node1,node2,node3,node4）NN:选择node1,node2（真实环境nameNode不能和dataNode在同一台虚机，这里演示减少虚机，node2既做nameNode 也当 dataNode）

ZKFC:只能选择nameNode所在的虚机

ZK:这里我们选择node1,node2,node3(由于zk的投票机制，只能是大于1的奇数)

DN:选择node2,node3,node4

JN:选择node2,node3,node4

2 使用VMware 安装centos7虚机

目标4台（node1,node2,node3,node4）

安装一台

克隆 3台

一个虚拟机的克隆就是原始虚拟机全部状态的一个拷贝，或者说一个镜像。克隆的过程并不影响原始虚拟机，克隆的操作一但完成，克隆的虚拟机就可以脱离原始虚拟机独立存在，而且在克隆的虚拟机中和原始虚拟机中的操作是相对独立的，不相互影响。克隆过程中，VMware会生成和原始虚拟机不同的MAC地址和UUID，这就允许克隆的虚拟机和原始虚拟机在同一网络中出现，并且不会产生任何冲突。

11-Hive-实战Hadoop2.0

现
实需求
Hive的设计目的即是让Facebook内精通SQL的分析师能够以类SQL的方式查询存放在HDFS的大规模数据集
功能好熟悉
和Pig有和区别
cMaster
cSlave0
cSlave2
cProxy
cSlave1
提交任务
1.编写MR程
序
2.组织处理流
iClient
Hive
Hive是一个构建在hadoop上的数据仓库框架
Hive
目录
• Hive简介 • Hive接口 • 实战Hive Shell • 实战Hive之复杂语句 • 实战Hive之综合示例 • 实战Hive API接口
• 工作原理 • 体系架构 • 计算模型 • 集群部署
Hive简介
Hive
为什么
Hive起源于Facebook内部信息处理平台。由于需要处理大量新兴社会网络数据，考虑到扩展性， Facebook最终选择hadoop作为存储和处理平台
GROUPFra Baidu bibliotekBY
Hadoop命令行接口
(hdfs、mapred、yarn)
Hive运行时环境
用户Hive脚本
Step2
iclient0
NameNode
ResourceManager
cmaster0

《hadoop基础》课件——第三章 Hadoop集群的搭建及配置

12
wk.baidu.com
完全分布式搭建
4.mapred-site.xml.template
重命名文件
cp mapred-site.xml.template mapred-site.xml
修改配置文件
<property> <name>mapreduce.framework.name</name> <value>yarn</value>
seconds</name>
<value>604800</value>
</property>
13
完全分布式搭建
6. slaves master node1 node2
配置文件修改完成
14
完全分布式搭建
二、分发配置文件到node1、node2： cd /opt/soft/ scp -r hadoop-2.7.6/ node1:`pwd` scp -r hadoop-2.7.6/ node2:`pwd` 三、格式化namenode（第一次启动的时候需要执行） hdfs namenode -format 四、启动Hadoop集群 start-all.sh 五、检查master、node1、node2上的进程
11
完全分布式搭建
一、修改Hadoop配置文件：

1.Hadoop集群搭建（单机伪分布式）

>>>加磁盘

1）⾸先先将虚拟机关机

2）选中需要加硬盘的虚拟机：右键-->设置-->选中硬盘，点击添加-->默认选中硬盘，点击下⼀步-->默认硬盘类型SCSI(S)，下⼀步-->默认创建新虚拟磁盘(V)，下⼀步-->根据实际需求，指定磁盘容量(单个或多个⽂件⽆所谓，选哪个都⾏)，下⼀步。-->指定磁盘⽂件，选择浏览，找到现有虚拟机的位置(第⼀次出现.vmdk⽂件的⽂件夹)，放到⼀起，便于管理。点击完成。-->点击确定。

3) 可以看到现在选中的虚拟机有两块硬盘，点击开启虚拟机。

这个加硬盘只是在VMWare中，实际⼯作中直接买了硬盘加上就可以了。

4）对/dev/sdb进⾏分区

df -h 查看当前已⽤磁盘分区

fdisk -l 查看所有磁盘情况

磁盘利⽤情况，依次对磁盘命名的规范为，第⼀块磁盘sda，第⼆块为sdb，第三块为sdc。。。。可以看到下图的Disk /dev/sda

以第⼀块磁盘为例，磁盘分区的命名规范依次为sda1，sda2，sda3。。。。同理也会有sdb1，sdb2，sdb3。。。可以参照下图的/dev/sda1。

下⾯的含义代表sda盘有53.7GB，共分为6527个磁柱，每个磁柱单元Units的⼤⼩为16065*512=8225280 bytes。

sda1分区为1-26号磁柱，sda2分区为26-287号磁柱，sda3为287-6528号磁柱

下⾯的图⽚可以看到，还未对sdb磁盘进⾏分区

Hadoop三种架构介绍及搭建

apache hadoop三种架构介绍（standAlone，伪分布，分布式环境介绍以及安装）hadoop ⽂档

1、StandAlone环境搭建

运⾏服务服务器IP

NameNode192.168.221.100

SecondaryNameNode192.168.221.100

DataNode192.168.221.100

ResourceManager192.168.221.100

NodeManager192.168.221.100

第⼀步：下载apache hadoop并上传到服务器

下载链接：

解压命令

cd /export/softwares

tar -zxvf hadoop-2.7.5.tar.gz -C ../servers/

第⼆步：修改配置⽂件

修改core-site.xml

第⼀台机器执⾏以下命令

cd /export/servers/hadoop-2.7.5/etc/hadoop

vim core-site.xml

</property>

<name>hadoop.tmp.dir</name>

<value>/export/servers/hadoop-2.7.5/hadoopDatas/tempDatas</value>

大数据--Hadoop集群环境搭建

⼤数据--Hadoop集群环境搭建

⾸先我们来认识⼀下HDFS， HDFS（Hadoop Distributed File System ）Hadoop分布式⽂件系统。它其实是将⼀个⼤⽂件分成若⼲块保存在不同服务器的多个节点中。通过联⽹让⽤户感觉像是在本地⼀样查看⽂件，为了降低⽂件丢失造成的错误，它会为每个⼩⽂件复制多个副本（默认为三个），以此来实现多机器上的多⽤户分享⽂件和存储空间。

Hadoop主要包含三个模块：

HDFS模块：HDFS负责⼤数据的存储，通过将⼤⽂件分块后进⾏分布式存储⽅式，突破了服务器硬盘⼤⼩的限制，解决了单台机器⽆法存储⼤⽂件的问题，HDFS是个相对独⽴的模块，可以为YARN提供服务，也可以为HBase等其他模块提供服务。

YARN模块：YARN是⼀个通⽤的资源协同和任务调度框架，是为了解决Hadoop中MapReduce⾥NameNode负载太⼤和其他问题⽽创建的⼀个框架。YARN是个通⽤框架，不⽌可以运⾏MapReduce，还可以运⾏Spark、Storm等其他计算框架。

MapReduce模块：MapReduce是⼀个计算框架，它给出了⼀种数据处理的⽅式，即通过Map阶段、Reduce阶段来分布式地流式处理数据。它只适⽤于⼤数据的离线处理，对实时性要求很⾼的应⽤不适⽤。多相关信息可以参考博客：。

本节将会介绍Hadoop集群的配置，⽬标主机我们可以选择虚拟机中的多台主机或者多台阿⾥云服务器。

注意：以下所有操作都是在root⽤户下执⾏的，因此基本不会出现权限错误问题。

Hadoop2.0架构设计与原理

什么是大数据
• 数据集主要特点
Volume: 数量量从TB到PB级别 Variety: 数据类型复杂，超过80%的数据是非结构化的 Velocity:数据量在持续增加(两位数的年增长率) Value：巨大的数据价值
其他特征
数据来自大量源,需要做相关性分析需要实时或者准实时的流式采集,有些应用90%写vs.10%读数据需要长时间存储,非热点数据也会被随机访问
HDFS写文件流程
HDFS读文件流程
什么是MapReduce编程模型？
Map(映射):对一些独立元素组成的列表的每一个元素进行指定的操作,可以高度并行。 Reduce(化简):对一个列表的元素进行合并。一个简单的MapReduce程序只需要指定map()、reduce()、输入和输出, 剩下的事由框架帮你搞定。
主要内容 1
Hadoop介绍
Hadoop原理 Hadoop YARN产生的背景
2 3
4 5 6
Hadoop YARN基本架构
运行在YARN上的基本框架 YARN 发展趋势
Hadoop YARN基本架构
Hadoop YARN各模块组成
ResourceManager
处理客户端请求启动/监控ApplicationMaster 监控NodeManager 资源分配与调度

Hadoop云计算平台搭建最详细过程(共22页)

Hadoop云计算平台及相关组件搭建安装过程详细教程

——Hbase+Pig+Hive+Zookeeper+Ganglia+Chukwa+Eclipse等

一．安装环境简介

根据官网，Hadoop已在linux主机组成的集群系统上得到验证，而windows平台是作为开发平台支持的，由于分布式操作尚未在windows平台上充分测试，所以还不作为一个生产平台。Windows下还需要安装Cygwin，Cygwin是在windows平台上运行的UNIX模拟环境，提供上述软件之外的shell支持。

实际条件下在windows系统下进行Hadoop伪分布式安装时，出现了许多未知问题。在linux系统下安装，以伪分布式进行测试，然后再进行完全分布式的实验环境部署。Hadoop完全分布模式的网络拓补图如图六所示：

（1）网络拓补图如六所示：

图六完全分布式网络拓补图

（2）硬件要求：搭建完全分布式环境需要若干计算机集群，Master和Slaves 处理器、内存、硬盘等参数要求根据情况而定。

（3）软件要求

操作系统64位Ubuntu12.04.4

JDK版本:jdk-7u51-linux-x64.tar.gz

并且所有机器均需配置SSH免密码登录。

二．Hadoop集群安装部署

目前，这里只搭建了一个由三台机器组成的小集群，在一个hadoop集群中有以下角色：Master和Slave、JobTracker和TaskTracker、NameNode和DataNode。下面为这三台机器分配IP地址以及相应的角色：

192.168.100.90——master，namenode，jobtracker——master（主机名）

(完整版)Hadoop安装教程_伪分布式配置_CentOS6.4_Hadoop2.6.0

Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0

都能顺利在CentOS 中安装并运行Hadoop。

环境

本教程使用CentOS 6.4 32位作为系统环境，请自行安装系统（可参考使用VirtualBox安装CentOS）。如果用的是Ubuntu 系统，请查看相应的Ubuntu安装Hadoop教程。

本教程基于原生Hadoop 2，在Hadoop 2.6.0 (stable)版本下验证通过，可适合任何Hadoop 2.x.y 版本，例如Hadoop 2.7.1, Hadoop 2.4.1等。

Hadoop版本

Hadoop 有两个主要版本，Hadoop 1.x.y 和Hadoop 2.x.y 系列，比较老的教材上用的可能是0.20 这样的版本。Hadoop 2.x 版本在不断更新，本教程均可适用。如果需安装0.20，1.2.1这样的版本，本教程也可以作为参考，主要差别在于配置项，配置请参考官网教程或其他教程。

新版是兼容旧版的，书上旧版本的代码应该能够正常运行（我自己没验证，欢迎验证反馈）。

装好了CentOS 系统之后，在安装Hadoop 前还需要做一些必备工作。

创建hadoop用户

如果你安装CentOS 的时候不是用的“hadoop” 用户，那么需要增加一个名为hadoop 的用户。

首先点击左上角的“应用程序” -> “系统工具” -> “终端”，首先在终端中输入su，按回车，输入root 密码以root 用户登录，接着执行命令创建新用户hadoop:

如下图所示，这条命令创建了可以登陆的hadoop 用户，并使用/bin/bash 作为shell。

Hadoop分布式集群搭建详细教程

hadoop1hadoop2hadoop3

HDFS NameNode

DataNode

SecondaryNameNode

DataNode

YARN NodeManager ResourceManager

NodeManager

NodeManager Hadoop分布式集群搭建详细教程

本教程是基于CentOS-7-x86_64的Hadoop完全分布式搭建1、搭建前的准备

1）CentOS-7虚拟机3台(hadoop1、hadoop2、hadoop3)

2）hadoop-3.3.0包

3）jdk-8u144-linux-x64包

2、整体部署

3、基本步骤

1）修改3台虚拟机的名称

2）关闭、禁⽌开机⾃启防⽕墙

3）配置静态ip

4）修改/etc/hosts⽂件(hadoop1、hadoop2、hadoop3)

5）配置免密登录(hadoop1、hadoop2、hadoop3）

6）安装JDK及配置相应环境变量(hadoop1)

7）安装Hadoop及配置相应环境变量(hadoop1)

8）修改配置⽂件(hadoop1)

9）拷贝(hadoop1-->hadoop2，hadoop1-->hadoop3)

10）远程同步/etc/profile⽂件(hadoop1)

11）格式化NameNode

12）启动和关闭Hadoop集群

13）通过浏览器访问Hadoop集群

14）测试集群，上传⽂件

4、详细步骤操作

1）修改3台虚拟机的名称

#hostname #查看主机名称

hostnamectl set-hostname 主机名 #修改主机名称