Hadoop安装过程

合集下载

Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu_CentOS

Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS本教程讲述如何配置Hadoop 集群，默认读者已经掌握了Hadoop 的单机伪分布式配置，否则请先查看Hadoop安装教程_单机/伪分布式配置或CentOS安装Hadoop_单机/伪分布式配置。

本教程由厦门大学数据库实验室出品，转载请注明。

本教程适合于原生Hadoop 2，包括Hadoop 2.6.0, Hadoop 2.7.1 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，保证按照步骤来，都能顺利安装并运行Hadoop。

另外有Hadoop安装配置简略版方便有基础的读者快速完成安装。

为了方便新手入门，我们准备了两篇不同系统的Hadoop 伪分布式配置教程。

但其他Hadoop 教程我们将不再区分，可同时适用于Ubuntu 和CentOS/RedHat 系统。

例如本教程以Ubuntu 系统为主要演示环境，但对Ubuntu/CentOS 的不同配置之处、CentOS 6.x 与CentOS 7 的操作区别等都会尽量给出注明。

环境本教程使用Ubuntu 14.04 64位作为系统环境，基于原生Hadoop 2，在Hadoop 2.6.0 (stable)版本下验证通过，可适合任何Hadoop 2.x.y 版本，例如Hadoop 2.7.1，Hadoop 2.4.1 等。

本教程简单的使用两个节点作为集群环境: 一个作为Master 节点，局域网IP 为192.168.1.121；另一个作为Slave 节点，局域网IP 为192.168.1.122。

准备工作Hadoop 集群的安装配置大致为如下流程:1.选定一台机器作为Master2.在Master 节点上配置hadoop 用户、安装SSH server、安装Java 环境3.在Master 节点上安装Hadoop，并完成配置4.在其他Slave 节点上配置hadoop 用户、安装SSH server、安装Java 环境5.将Master 节点上的/usr/local/hadoop 目录复制到其他Slave 节点上6.在Master 节点上开启Hadoop配置hadoop 用户、安装SSH server、安装Java 环境、安装Hadoop 等过程已经在Hadoop安装教程_单机/伪分布式配置或CentOS安装Hadoop_单机/伪分布式配置中有详细介绍，请前往查看，不再重复叙述。

最详细的Hadoop入门教程

最详细的Hadoop⼊门教程前⾔Hadoop 在⼤数据技术体系中的地位⾄关重要，Hadoop 是⼤数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在⼤数据技术道路上⾛多远。

这是⼀篇⼊门⽂章，Hadoop 的学习⽅法很多，⽹上也有很多学习路线图。

本⽂的思路是：以安装部署 Apache Hadoop2.x 版本为主线，来介绍 Hadoop2.x 的架构组成、各模块协同⼯作原理、技术细节。

安装不是⽬的，通过安装认识Hadoop才是⽬的。

本⽂分为五个部分、⼗三节、四⼗九步。

第⼀部分：Linux环境安装Hadoop是运⾏在Linux，虽然借助⼯具也可以运⾏在Windows上，但是建议还是运⾏在Linux系统上，第⼀部分介绍Linux环境的安装、配置、Java JDK安装等。

第⼆部分：Hadoop本地模式安装Hadoop 本地模式只是⽤于本地开发调试，或者快速安装体验 Hadoop，这部分做简单的介绍。

第三部分：Hadoop伪分布式模式安装学习 Hadoop ⼀般是在伪分布式模式下进⾏。

这种模式是在⼀台机器上各个进程上运⾏ Hadoop 的各个模块，伪分布式的意思是虽然各个模块是在各个进程上分开运⾏的，但是只是运⾏在⼀个操作系统上的，并不是真正的分布式。

第四部分：完全分布式安装完全分布式模式才是⽣产环境采⽤的模式，Hadoop 运⾏在服务器集群上，⽣产环境⼀般都会做HA，以实现⾼可⽤。

第五部分：Hadoop HA安装HA是指⾼可⽤，为了解决Hadoop单点故障问题，⽣产环境⼀般都做HA部署。

这部分介绍了如何配置Hadoop2.x的⾼可⽤，并简单介绍了HA的⼯作原理。

安装过程中，会穿插简单介绍涉及到的知识。

希望能对⼤家有所帮助。

第⼀部分：Linux环境安装第⼀步、配置 Vmware NAT ⽹络⼀、Vmware ⽹络模式介绍参考：/collection4u/article/details/14127671⼆、NAT模式配置NAT是⽹络地址转换，是在宿主机和虚拟机之间增加⼀个地址转换服务，负责外部和虚拟机之间的通讯转接和IP转换。

在linux中安装Hadoop教程-伪分布式配置-Hadoop2.6.0-Ubuntu14.04

在linux中安装Hadoop教程-伪分布式配置-Hadoop2.6.0-Ubuntu14.04注：该教程转⾃厦门⼤学⼤数据课程学习总结装好了 Ubuntu 系统之后，在安装 Hadoop 前还需要做⼀些必备⼯作。

创建hadoop⽤户如果你安装 Ubuntu 的时候不是⽤的 “hadoop” ⽤户，那么需要增加⼀个名为 hadoop 的⽤户。

⾸先按 ctrl+alt+t 打开终端窗⼝，输⼊如下命令创建新⽤户 : sudo useradd -m hadoop -s /bin/bash这条命令创建了可以登陆的 hadoop ⽤户，并使⽤ /bin/bash 作为 shell。

sudo命令本⽂中会⼤量使⽤到sudo命令。

sudo是ubuntu中⼀种权限管理机制，管理员可以授权给⼀些普通⽤户去执⾏⼀些需要root权限执⾏的操作。

当使⽤sudo命令时，就需要输⼊您当前⽤户的密码.密码在Linux的终端中输⼊密码，终端是不会显⽰任何你当前输⼊的密码，也不会提⽰你已经输⼊了多少字符密码。

⽽在windows系统中,输⼊密码⼀般都会以“*”表⽰你输⼊的密码字符接着使⽤如下命令设置密码，可简单设置为 hadoop，按提⽰输⼊两次密码： sudo passwd hadoop可为 hadoop ⽤户增加管理员权限，⽅便部署，避免⼀些对新⼿来说⽐较棘⼿的权限问题： sudo adduser hadoop sudo最后注销当前⽤户（点击屏幕右上⾓的齿轮，选择注销），返回登陆界⾯。

在登陆界⾯中选择刚创建的 hadoop ⽤户进⾏登陆。

更新apt⽤ hadoop ⽤户登录后，我们先更新⼀下 apt，后续我们使⽤ apt 安装软件，如果没更新可能有⼀些软件安装不了。

按 ctrl+alt+t 打开终端窗⼝，执⾏如下命令： sudo apt-get update后续需要更改⼀些配置⽂件，我⽐较喜欢⽤的是 vim（vi增强版，基本⽤法相同） sudo apt-get install vim安装SSH、配置SSH⽆密码登陆集群、单节点模式都需要⽤到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上⾯运⾏命令），Ubuntu 默认已安装了SSH client，此外还需要安装 SSH server： sudo apt-get install openssh-server安装后，配置SSH⽆密码登陆利⽤ ssh-keygen ⽣成密钥，并将密钥加⼊到授权中： exit # 退出刚才的 ssh localhost cd ~/.ssh/ # 若没有该⽬录，请先执⾏⼀次ssh localhost ssh-keygen -t rsa # 会有提⽰，都按回车就可以 cat ./id_rsa.pub >> ./authorized_keys # 加⼊授权此时再⽤ssh localhost命令，⽆需输⼊密码就可以直接登陆了。

centos 7+hadoop2.7.3详细安装教程

centos 7+hadoop2.7.3详细安装教程前言：Hadoop 运行在jar环境下，因此安装hadoop的前提是得在系统上安装好jdk。

本次实验环境使用centos7进行安装。

需要安装的工具：1．虚拟机2．Centos 7镜像文件3．Filezilla（用于上传本地下载的hadoop镜像到centos系统，以及可以远程操作linux 文件系统）4．secureCrt（远程连接linux，敲指令方便。

本次安装的linux是没有图形界面的，命令窗口不能复制粘贴，因此使用secureCRT操作linux系统，方便后续修改hadoop 文件时可以复制粘贴）5．JDK镜像6．Hadoop2.7.3镜像文件一、虚拟机安装a)安装最新版本，具体安装方法比较简单，请上网自行搜索。

b)安装按虚拟机后，需要配置虚拟机的网络连接方式。

本次hadoop安装实验环境将会部署三个集群（一个namenode和两个DataNode），因此采用nat连接方式配置网络。

具体配置如下：选择编辑-虚拟网络编辑器-VMnet8注意：NAT设置里面网关IP地址为你的网段地址+2,，如我设置的网段是192.168.100，因此我的网关IP地址是192.169.100.2二、安装三台centos7（三台安装方式一样，仅是里面IP地址配置不一样。

具体安装多少台视各位看官需要配置多少集群而定）a)文件菜单选择新建虚拟机b)选择经典类型安装，下一步。

c)选择稍后安装操作系统，下一步。

d)选择Linux系统，版本选择CentOS7 64位。

e)命名虚拟机，给虚拟机起个名字，将来显示在Vmware左侧。

并选择Linux系统保存在宿主机的哪个目录下，应该一个虚拟机保存在一个目录下，不能多个虚拟机使用一个目录。

f)指定磁盘容量，是指定分给Linux虚拟机多大的硬盘，默认20G就可以，下一步。

g)点击自定义硬件，可以查看、修改虚拟机的硬件配置，这里我们不做修改。

Hadoop集群安装详细步骤

Hadoop集群安装详细步骤|Hadoop安装配置文章分类:综合技术Hadoop集群安装首先我们统一一下定义，在这里所提到的Hadoop是指Hadoop Common，主要提供DFS（分布式文件存储）与Map/Reduce的核心功能。

Hadoop在windows下还未经过很好的测试，所以笔者推荐大家在linux（cent os 5.X）下安装使用。

准备安装Hadoop集群之前我们得先检验系统是否安装了如下的必备软件：ssh、rsync和Jdk1.6（因为Hadoop需要使用到Jdk中的编译工具，所以一般不直接使用Jre）。

可以使用yum install rsync来安装rsync。

一般来说ssh是默认安装到系统中的。

Jdk1.6的安装方法这里就不多介绍了。

确保以上准备工作完了之后我们就开始安装Hadoop软件，假设我们用三台机器做Hadoop集群，分别是：192.168.1.111、192.168.1.112和192.168.1.113（下文简称111，112和113），且都使用root用户。

下面是在linux平台下安装Hadoop的过程：在所有服务器的同一路径下都进行这几步，就完成了集群Hadoop软件的安装，是不是很简单？没错安装是很简单的，下面就是比较困难的工作了。

集群配置根据Hadoop文档的描述“The Hadoop daemons are N ameNode/DataNode and JobTracker/TaskTracker.”可以看出Hadoop核心守护程序就是由NameNode/DataNode 和JobTracker/TaskTracker这几个角色构成。

Hadoop的DFS需要确立NameNode与DataNode角色，一般NameNode会部署到一台单独的服务器上而不与DataNode共同同一机器。

另外Map/Reduce服务也需要确立JobTracker和TaskTracker的角色，一般JobTracker与NameNode共用一台机器作为master，而TaskTracker与DataNode同属于slave。

Hadoop的安装与配置

Hadoop的安装与配置建立一个三台电脑的群组，操作系统均为Ubuntu，三个主机名分别为wjs1、wjs2、wjs3。

1、环境准备：所需要的软件及我使用的版本分别为：Hadoop版本为0.19.2，JDK版本为jdk-6u13-linux-i586.bin。

由于Hadoop要求所有机器上hadoop的部署目录结构要相同，并且都有一个相同的用户名的帐户。

所以在三台主机上都设置一个用户名为“wjs”的账户，主目录为/home/wjs。

a、配置三台机器的网络文件分别在三台机器上执行：sudo gedit /etc/network/interfaceswjs1机器上执行：在文件尾添加：auto eth0iface eth0 inet staticaddress 192.168.137.2gateway 192.168.137.1netmask 255.255.255.0wjs2和wjs3机器上分别执行：在文件尾添加：auto eth1iface eth1 inet staticaddress 192.168.137.3（wjs3上是address 192.168.137.4）gateway 192.168.137.1netmask 255.255.255.0b、重启网络：sudo /etc/init.d/networking restart查看ip是否配置成功：ifconfig{注：为了便于“wjs”用户能够修改系统设置访问系统文件，最好把“wjs”用户设为sudoers（有root权限的用户），具体做法：用已有的sudoer登录系统，执行sudo visudo -f /etc/sudoers,并在此文件中添加以下一行：wjsALL=(ALL)ALL,保存并退出。

}c、修改三台机器的/etc/hosts,让彼此的主机名称和ip都能顺利解析，在/etc/hosts中添加：192.168.137.2 wjs1192.168.137.3 wjs2192.168.137.4 wjs3d、由于Hadoop需要通过ssh服务在各个节点之间登陆并运行服务，因此必须确保安装Hadoop的各个节点之间网络的畅通，网络畅通的标准是每台机器的主机名和IP地址能够被所有机器正确解析（包括它自己）。

简述hadoop安装步骤

简述hadoop安装步骤简述hadoop安装步骤安装步骤:1、安装虚拟机系统，并进⾏准备⼯作(可安装- ⼀个然后克隆)2.修改各个虚拟机的hostname和host3.创建⽤户组和⽤户4、配置虚拟机⽹络，使虚拟机系统之间以及和host主机之间可以通过相互ping通。

5.安装jdk和配置环境变量，检查是否配置成功6、配置ssh,实现节点间的⽆密码登录ssh node1/2指令验证时候成功7、master 配置hadoop,并将hadoop⽂件传输到node节点8、配置环境变量，并启动hadoop, 检查是否安装成功，执⾏wordcount检查是否成功。

⼆.HDFS作⽤是什么Hadoop分布式⽂件系统(HDFS)是指被设计成适合运⾏在通⽤硬件(commodity hardware)上的分布式⽂件系统（Distributed File System）。

它和现有的分布式⽂件系统有很多共同点。

但同时，它和其他的分布式⽂件系统的区别也是很明显的。

HDFS是⼀个⾼度容错性的系统，适合部署在廉价的机器上。

HDFS能提供⾼吞吐量的数据访问，⾮常适合⼤规模数据集上的应⽤。

HDFS放宽了⼀部分POSIX约束，来实现流式读取⽂件系统数据的⽬的。

HDFS在最开始是作为Apache Nutch搜索引擎项⽬的基础架构⽽开发的。

HDFS是Apache Hadoop Core项⽬的⼀部分。

HDFS有着⾼容错性（fault-tolerant）的特点，并且设计⽤来部署在低廉的（low-cost）硬件上。

⽽且它提供⾼吞吐量（high throughput）来访问应⽤程序的数据，适合那些有着超⼤数据集（large data set）的应⽤程序。

HDFS放宽了（relax）POSIX的要求（requirements）这样可以实现流的形式访问（streaming access）⽂件系统中的数据。

三.常⽤的Hadoop FS Shell命令有哪些及其作⽤1.调⽤Hadoop的⽂件系统Shell（FileSystem Shell）的命令格式：语法：hadoop fs <args>：前提是位置位于hadoop/bin下，其中fs是参数，表⽰FS Shell，<args>是fs的⼦命令2.使⽤FS Shell命令⾏管理⽂件：mkdir -创建⽬录语法：hadoop fs -mkdir <paths>例⼦：hadoop fs -mkdir /user：在HDFS中创建"/user"⽬录hadoop fs -mkdir /user/hadoop：在HDFS中创建"/user/hadoop"⽬录hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2：在HDFS中同时创建"/user/hadoop/dir1"和"/user/hadoop/dir2"，⽬录ls -查看列表⽂件语法：hadoop fs -ls <args>如果是⽂件，则按照如下格式返回⽂件信息：⽂件名<副本数> ⽂件⼤⼩修改⽇期修改时间权限⽤户ID 组ID如果是⽬录，则返回它直接⼦⽂件的⼀个列表cat -查看⽂件语法：hadoop fs -cat URI <URI...>：输出路径指定⽂件的内容例⼦：hadoop fs -cat /input2/file1.txt /input2/file2.txt：在HDFS中查看input2⽬录下的file1.txt和file2.txt的⽂件内容put -从本地⽂件系统中复制⼀个或多个⽂件到HDFS（外部命令）语法：hadoop fs -put <localsrc>...<dst>其中localsrc只能是本地⽂件，dst只能是HDFS⽂件，且不受fs.defaultFS属性影响。

在Windows上安装Hadoop教程

另外，还建议将“Editors Category”下的 vim 安装，以方便在 Cygwin 上直接修改配置文件； “Devel Category”下的 subversion 建议安装，如下图所示：
6
在 Windows 上安装 Hadoop 教程
当完成上述操作后，点击“Select Packages”对话框中“下一步”，进入 Cygwin 安装包下载过程，如下图所示：
至此，配置 ssh 登录成功，下Βιβλιοθήκη 就可以开始安装 hadoop 了。
7. 下载 hadoop 安装包
hadoop 安装包下载地址： /apache-mirror/hadoop/core/hadoop-0.20.1/hadoop-0.20.1.tar.gz
16
在 Windows 上安装 Hadoop 教程
如果运行 mapreduce，请参考其它文档，本教程的内容到此结束。
17
10
在 Windows 上安装 Hadoop 教程
当看到“Have fun”时，一般表示 sshd 服务安装成功了，如上图所示。接下来，需要启动 sshd 服务。
5. 启动 sshd 服务
在桌面上的“我的电脑”图标上单击右键，点击“管理”菜单，进入 Windows 计算机管理，如下图所示：
11
4. 安装 sshd 服务
点击桌面上的 Cygwin 图标，启动 Cygwin，执行 ssh-host-config 命令，如下图所示：
9
在 Windows 上安装 Hadoop 教程
在执行 ssh-host-config 时，当要求输入 yes/no 时，选择输入 no，如下图所示：
如果是 Cygwin 1.7 之前的版本，则 ssh-host-config 显示界面如下图所示：

hadoop 操作手册

hadoop 操作手册Hadoop 是一个分布式计算框架，它使用 HDFS（Hadoop Distributed File System）存储大量数据，并通过 MapReduce 进行数据处理。

以下是一份简单的 Hadoop 操作手册，介绍了如何安装、配置和使用 Hadoop。

一、安装 Hadoop1. 下载 Hadoop 安装包，并解压到本地目录。

2. 配置 Hadoop 环境变量，将 Hadoop 安装目录添加到 PATH 中。

3. 配置 Hadoop 集群，包括 NameNode、DataNode 和 JobTracker 等节点的配置。

二、配置 Hadoop1. 配置 HDFS，包括 NameNode 和 DataNode 的配置。

2. 配置 MapReduce，包括 JobTracker 和 TaskTracker 的配置。

3. 配置 Hadoop 安全模式，如果需要的话。

三、使用 Hadoop1. 上传文件到 HDFS，使用命令 `hadoop fs -put local_file_path/hdfs_directory`。

2. 查看 HDFS 中的文件和目录信息，使用命令 `hadoop fs -ls /`。

3. 运行 MapReduce 作业，编写 MapReduce 程序，然后使用命令`hadoop jar my_` 运行程序。

4. 查看 MapReduce 作业的运行结果，使用命令 `hadoop fs -cat/output_directory/part-r-00000`。

5. 从 HDFS 中下载文件到本地，使用命令 `hadoop fs -get/hdfs_directory local_directory`。

6. 在 Web 控制台中查看 HDFS 集群信息，在浏览器中打开7. 在 Web 控制台中查看 MapReduce 作业运行情况，在浏览器中打开四、管理 Hadoop1. 启动和停止 Hadoop 集群，使用命令 `` 和 ``。

hadoop的基本使用

hadoop的基本使用Hadoop的基本使用Hadoop是一种开源的分布式计算系统和数据处理框架，具有可靠性、高可扩展性和容错性等特点。

它能够处理大规模数据集，并能够在集群中进行并行计算。

本文将逐步介绍Hadoop的基本使用。

一、Hadoop的安装在开始使用Hadoop之前，首先需要进行安装。

以下是Hadoop的安装步骤：1. 下载Hadoop：首先，从Hadoop的官方网站（2. 配置环境变量：接下来，需要将Hadoop的安装目录添加到系统的环境变量中。

编辑~/.bashrc文件（或其他相应的文件），并添加以下行：export HADOOP_HOME=/path/to/hadoopexport PATH=PATH:HADOOP_HOME/bin3. 配置Hadoop：Hadoop的配置文件位于Hadoop的安装目录下的`etc/hadoop`文件夹中。

其中，最重要的配置文件是hadoop-env.sh，core-site.xml，hdfs-site.xml和mapred-site.xml。

根据具体需求，可以在这些配置文件中进行各种参数的设置。

4. 启动Hadoop集群：在完成配置后，可以启动Hadoop集群。

运行以下命令以启动Hadoop集群：start-all.sh二、Hadoop的基本概念在开始使用Hadoop之前，了解一些Hadoop的基本概念是非常重要的。

以下是一些重要的概念：1. 分布式文件系统（HDFS）：HDFS是Hadoop的核心组件之一，用于存储和管理大规模数据。

它是一个可扩展的、容错的文件系统，能够在多个计算机节点上存储数据。

2. MapReduce：MapReduce是Hadoop的编程模型，用于并行计算和处理大规模数据。

它由两个主要的阶段组成：Map阶段和Reduce阶段。

Map阶段将输入数据切分为一系列键值对，并运行在集群中的多个节点上。

Reduce阶段将Map阶段的输出结果进行合并和计算。

hadoop2.2安装

Hadoop2.2.0安装配置手册！完全分布式Hadoop集群搭建过程历时一周多，终于搭建好最新版本Hadoop2.2集群，期间遇到各种问题，作为菜鸟真心被各种折磨，不过当wordcount给出结果的那一刻，兴奋的不得了~~（文当中若有错误之处或疑问欢迎指正，互相学习）另外：欢迎配置过程中遇到问题的朋友留言，相互讨论，并且能够把解决方法共享给大家。

下面评论中有几个朋友遇到的问题和解决方法，欢迎参考！第一部分Hadoop 2.2 下载Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。

官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src 源码自行编译（10楼评论中提供了一个解决方法链接）。

下载地址:/hadoop/common/hadoop-2.2.0/如下图所示，下载红色标记部分即可。

如果要自行编译则下载src.tar.gz.第二部分集群环境搭建1、这里我们搭建一个由三台机器组成的集群：192.168.0.1 hduser/passwd cloud001 nn/snn/rm CentOS6 64bit192.168.0.2 hduser/passwd cloud002 dn/nm Ubuntu13.04 32bit192.168.0.3 hduser/passwd cloud003 dn/nm Ubuntu13.0432bit1.1 上面各列分别为IP、user/passwd、hostname、在cluster中充当的角色（namenode, secondary namenode, datanode , resourcemanager, nodemanager）1.2 Hostname可以在/etc/hostname中修改（ubuntu是在这个路径下，RedHat稍有不同）1.3 这里我们为每台机器新建了一个账户hduser.这里需要给每个账户分配sudo的权限。

Hadoop环境搭建--Docker完全分布式部署Hadoop环境（菜鸟采坑吐血整理）

Hadoop环境搭建--Docker完全分布式部署Hadoop环境（菜鸟采坑吐⾎整理）系统：Centos 7，内核版本3.10本⽂介绍如何从0利⽤Docker搭建Hadoop环境，制作的镜像⽂件已经分享，也可以直接使⽤制作好的镜像⽂件。

⼀、宿主机准备⼯作0、宿主机（Centos7）安装Java（⾮必须，这⾥是为了⽅便搭建⽤于调试的伪分布式环境）1、宿主机安装Docker并启动Docker服务安装：yum install -y docker启动：service docker start⼆、制作Hadoop镜像（本⽂制作的镜像⽂件已经上传，如果直接使⽤制作好的镜像，可以忽略本步，直接跳转⾄步骤三）1、从官⽅下载Centos镜像docker pull centos下载后查看镜像 docker images 可以看到刚刚拉取的Centos镜像2、为镜像安装Hadoop1）启动centos容器docker run -it centos2）容器内安装java下载java，根据需要选择合适版本，如果下载历史版本拉到页⾯底端，这⾥我安装了java8/usr下创建java⽂件夹，并将java安装包在java⽂件下解压tar -zxvf jdk-8u192-linux-x64.tar.gz解压后⽂件夹改名（⾮必需）mv jdk1.8.0_192 jdk1.8配置java环境变量vi ~/.bashrc ，添加内容，保存后退出export JAVA_HOME=/usr/java/jdk1.8export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/libexport PATH=$PATH:${JAVA_HOME}/bin使环境变量⽣效 source ~/.bashrc验证安装结果 java -version这⾥注意，因为是在容器中安装，修改的是~/.bashrc⽽⾮我们使⽤更多的/etc/profile，否则再次启动容器的时候会环境变量会失效。

HADOOP安装

Hadoop是Apache下的一个项目，由HDFS、MapReduce、Hbase、Hive和ZooKeeper等成员组成，其中HDFS和MapReduce是两个最重要的成员。

HDFS是Google GFS的开源版本，一个高度容错的分布式文件系统，它能够提供高吞吐量的数据访问，适合存储海量的大文件，其原理如下图所示：采用Master/Slave结构。

NameNode维护集群内的元数据，对外提供创建、打开、删除和重命名文件或目录的功能。

DataNode存储数据，并提负责处理数据的读写请求。

DataNode 定期向NameNode上报心跳，NameNode通过响应心跳来控制DataNode。

InfoWord将MapReduce评为2009年十大新兴技术的冠军。

MapReduce是大规模数据计算的利器，Map和Reduce是它的主要思想，来源于函数式编程语言，它的原理如下图所示：Map负责将数据打散，Reduce负责对数据进行集聚，用户只需要实现Map和Reduce 两个接口，即可完成TB级数据的计算，常见的应用包括：日志分析和数据挖掘等数据分析应用。

另外，还可用于科学数据计算，入圆周率PI的计算等。

Hadoop MapReduce的实现也采用了Master/Slave结构。

Master叫做JobTracker，而Slave 叫做TaskTracker。

用户提交的计算叫做Job，每一个Job会被划分成若干个Tasks。

JobTracker负责Job和Tasks的调度，而TaskTracker负责执行Tasks。

在Linux下搭建Hadoop集群，要先熟悉Linux的基本概念和操作，如cd、ls、tar、cat、ssh、sudo、scp等操作。

养成搜索意识很重要，遇到问题借用Google、百度等，或者论坛，推荐Hadoop技术论坛。

Ubuntu和redhat等版本的Linux在操作命令上有不同点，但安装Hadoop的流程一样。

(完整版)Hadoop安装教程_伪分布式配置_CentOS6.4_Hadoop2.6.0

Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0都能顺利在CentOS 中安装并运行Hadoop。

环境本教程使用CentOS 6.4 32位作为系统环境，请自行安装系统（可参考使用VirtualBox安装CentOS）。

如果用的是Ubuntu 系统，请查看相应的Ubuntu安装Hadoop教程。

本教程基于原生Hadoop 2，在Hadoop 2.6.0 (stable)版本下验证通过，可适合任何Hadoop 2.x.y 版本，例如Hadoop 2.7.1, Hadoop 2.4.1等。

Hadoop版本Hadoop 有两个主要版本，Hadoop 1.x.y 和Hadoop 2.x.y 系列，比较老的教材上用的可能是0.20 这样的版本。

Hadoop 2.x 版本在不断更新，本教程均可适用。

如果需安装0.20，1.2.1这样的版本，本教程也可以作为参考，主要差别在于配置项，配置请参考官网教程或其他教程。

新版是兼容旧版的，书上旧版本的代码应该能够正常运行（我自己没验证，欢迎验证反馈）。

装好了CentOS 系统之后，在安装Hadoop 前还需要做一些必备工作。

创建hadoop用户如果你安装CentOS 的时候不是用的“hadoop” 用户，那么需要增加一个名为hadoop 的用户。

首先点击左上角的“应用程序” -> “系统工具” -> “终端”，首先在终端中输入su，按回车，输入root 密码以root 用户登录，接着执行命令创建新用户hadoop:如下图所示，这条命令创建了可以登陆的hadoop 用户，并使用/bin/bash 作为shell。

CentOS创建hadoop用户接着使用如下命令修改密码，按提示输入两次密码，可简单的设为“hadoop”（密码随意指定，若提示“无效的密码，过于简单”则再次输入确认就行）:可为hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题，执行：如下图，找到root ALL=(ALL) ALL这行（应该在第98行，可以先按一下键盘上的ESC键，然后输入:98 (按一下冒号，接着输入98，再按回车键)，可以直接跳到第98行），然后在这行下面增加一行内容：hadoop ALL=(ALL) ALL（当中的间隔为tab），如下图所示：为hadoop增加sudo权限添加上一行内容后，先按一下键盘上的ESC键，然后输入:wq (输入冒号还有wq，这是vi/vim编辑器的保存方法)，再按回车键保存退出就可以了。

hadoop安装指南(非常详细,包成功)

➢3.10.2.进程➢JpsMaster节点：namenode/tasktracker（如果Master不兼做Slave, 不会出现datanode/TasktrackerSlave节点：datanode/Tasktracker说明：JobTracker 对应于NameNodeTaskTracker 对应于DataNodeDataNode 和NameNode 是针对数据存放来而言的JobTracker和TaskTracker是对于MapReduce执行而言的mapreduce中几个主要概念，mapreduce整体上可以分为这么几条执行线索：jobclient，JobTracker与TaskTracker。

1、JobClient会在用户端通过JobClient类将应用已经配置参数打包成jar文件存储到hdfs，并把路径提交到Jobtracker,然后由JobTracker创建每个Task（即MapTask和ReduceTask）并将它们分发到各个TaskTracker服务中去执行2、JobTracker是一个master服务，软件启动之后JobTracker接收Job，负责调度Job的每一个子任务task运行于TaskTracker上，并监控它们，如果发现有失败的task就重新运行它。

一般情况应该把JobTracker部署在单独的机器上。

3、TaskTracker是运行在多个节点上的slaver服务。

TaskTracker主动与JobTracker通信，接收作业，并负责直接执行每一个任务。

TaskTracker都需要运行在HDFS的DataNode上3.10.3.文件系统HDFS⏹查看文件系统根目录：Hadoop fs–ls /。

Hadoop完全分布式详细安装过程

Hadoop详细安装过程一、本文思路1、安装虚拟化PC工具VMware，用于支撑Linux系统。

2、在VMware上安装Ubuntu系统。

3、安装Hadoop前的准备工作：安装JDK和SSH服务。

4、配置Hadoop。

5、为了方便开发过程，需安装eclipse。

6、运行一个简单的Hadoop程序：WordCount.java注：在win7系统上，利用虚拟工具VMware建立若干个Linux系统，每个系统为一个节点，构建Hadoop集群。

先在一个虚拟机上将所有需要配置的东西全部完成，然后再利用VMware 的克隆功能，直接生成其他虚拟机，这样做的目的是简单。

二、所需软件1、VMware：VMware Workstation，直接百度下载（在百度软件中心下载即可）。

2、Ubuntu系统：ubuntu-15.04-desktop-amd64.iso，百度网盘：/s/1qWxfxso注：使用15.04版本的Ubuntu（其他版本也可以），是64位系统。

3、jdk：jdk-8u60-linux-x64.tar.gz，网址：/technetwork/java/javase/downloads/jdk8-downloads-2133151.html注：下载64位的Linux版本的jdk。

4、Hadoop：hadoop-1.2.1-bin.tar.gz，网址：/apache/hadoop/common/hadoop-1.2.1/注：选择1.2.1版本的Hadoop。

5、eclipse：eclipse-java-mars-1-linux-gtk-x86_64.tar.gz，网址：/downloads/?osType=linux注：要选择Linux版本的，64位，如下：6、hadoop-eclipse-plugin-1.2.1.jar，这是eclipse的一个插件，用于Hadoop的开发，直接百度下载即可。

三、安装过程1、安装VMware。

Hadoop2.7.3+Hbase-1.2.6完全分布式安装部署

Hadoop2.7.3+Hbase-1.2.6完全分布式安装部署Hadoop安装部署基本步骤：1、安装jdk，配置环境变量。

jdk可以去⽹上⾃⾏下载，环境变量如下：编辑 vim /etc/profile ⽂件，添加如下内容：export JAVA_HOME=/opt/java_environment/jdk1.7.0_80（填写⾃⼰的jdk安装路径）export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$PATH:$JAVA_HOME/bin输⼊命令，source /etc/profile 使配置⽣效分别输⼊命令，java 、 javac 、 java -version，查看jdk环境变量是否配置成功2、linux环境下，⾄少需要3台机⼦，⼀台作为master，2台（以上）作为slave。

这⾥我以3台机器为例，linux⽤的是CentOS 6.5 x64为机器。

master 192.168.172.71slave1 192.168.172.72slave2 192.168.172.733、配置所有机器的hostname和hosts。

（1）更改hostname，可以编辑 vim /etc/sysconfig/network 更改master的HOSTNAME，这⾥改为HOSTNAME=master 其它slave为HOSTNAME=slave1、HOSTNAME=slave2 ，重启后⽣效。

或者直接输： hostname 名字，更改成功，这种⽅式⽆需重启即可⽣效，但是重启系统后更改的名字会失效，仍是原来的名字（2）更改host，可以编辑 vim /etc/hosts，增加如下内容： 192.168.172.71 master 192.168.172.72 slave1 192.168.172.73 slave2 hosts可以和hostname不⼀致，这⾥为了好记就写⼀致了。

Hadoop分布式详细安装步骤

Hadoop分布式详细安装步骤版本：0.20.2准备工作：由于Hadoop要求所有主机上hadoop的部署目录结构要相同，并且都有一个相同的用户名的帐户。

二台机器上是这样的：都有一个coole的帐户，主目录是/home/coole两台机器（内存应在512以上，否则可能会出现计算极度缓慢的情况）:一台机器名：master IP:211.87.239.181一台机器名：slave IP:211.87.239.182每台都建coole用户如果是ubuntu，为了便于用coole帐号修改系统设置和访问系统文件，推荐把coole也设为sudoers（有root 权限的用户），具体做法是用已有的sudoer登录系统，执行sudo visudo –f /etc/sudoers，并在此文件中添加以下一行：mapred ALL=(ALL) ALL一、更改主机名：1、修改/etc/sysconfig/networkNETWORKING=yesHOSTNAME=yourname （在这修改hostname，把yourname换成你想用的名字）NISDOMAIN=修改后机器211.87.239.181中/etc/sysconfig/network文件内容为：NETWORKING=yesHOSTNAME=master修改后机器211.87.239.182中/etc/sysconfig/network文件内容为：NETWORKING=yesHOSTNAME=slave2、最后在终端下执行：# hostname ***** （*****为修改后的hostname，即你想用的名字）例如#hostname master特别提示：各处修改的名字要保持一致，否则会出现问题。

3、修改每台机器的/etc/hosts，保证每台机器间都可以通过机器名解析配置etc/hosts文件，以root 身份打开/etc/hosts文件。

Master/slave做同样修改。

hadoop安装实验总结

hadoop安装实验总结Hadoop安装实验总结一、引言Hadoop是一个开源的分布式计算平台，用于存储和处理大规模数据集。

在本次实验中，我们将介绍Hadoop的安装过程，并总结一些注意事项和常见问题的解决方法。

二、安装过程1. 确定操作系统的兼容性：Hadoop支持多种操作系统，包括Linux、Windows等。

在安装之前，我们需要确认所使用的操作系统版本与Hadoop的兼容性。

2. 下载Hadoop软件包：我们可以从Hadoop的官方网站或镜像站点上下载最新的稳定版本的Hadoop软件包。

确保选择与操作系统相对应的软件包。

3. 解压缩软件包：将下载的Hadoop软件包解压缩到指定的目录下。

可以使用命令行工具或图形界面工具进行解压缩操作。

4. 配置环境变量：为了方便使用Hadoop命令行工具，我们需要配置环境变量。

在Linux系统中，可以编辑.bashrc文件，在其中添加Hadoop的安装路径。

在Windows系统中，可以通过系统属性中的环境变量设置来配置。

5. 配置Hadoop集群：在Hadoop的安装目录下，找到conf文件夹，并编辑其中的配置文件。

主要包括core-site.xml、hdfs-site.xml 和mapred-site.xml等。

根据实际需求，配置Hadoop的相关参数，如文件系统路径、副本数量、任务调度等。

6. 格式化文件系统：在启动Hadoop之前，需要先格式化文件系统。

使用命令行工具进入Hadoop的安装目录下的bin文件夹，并执行格式化命令：hadoop namenode -format。

7. 启动Hadoop集群：在命令行工具中输入启动命令：start-all.sh（Linux）或start-all.cmd（Windows）。

Hadoop集群将会启动并显示相应的日志信息。

8. 验证Hadoop集群：在启动Hadoop集群后，我们可以通过访问Hadoop的Web界面来验证集群的运行状态。