Hadoop2.2.0+Hbase0.98.1+Sqoop1.4.4+Hive0.13完全安装手册

Hadoop2.2.0+Hbase0.98.1+Sqoop1.4.4+Hive0.13
完全安装手册
前言： (3)
一. Hadoop安装（伪分布式） (4)
1. 操作系统 (4)
2. 安装JDK (4)
1> 下载并解压JDK (4)
2> 配置环境变量 (4)
3> 检测JDK环境 (5)
3. 安装SSH (5)
1> 检验ssh是否已经安装 (5)
2> 安装ssh (5)
3> 配置ssh免密码登录 (5)
4. 安装Hadoop (6)
1> 下载并解压 (6)
2> 配置环境变量 (6)
3> 配置Hadoop (6)
4> 启动并验证 (8)
前言：
网络上充斥着大量Hadoop1的教程，版本老旧，Hadoop2的中文资料相对较少，本教程的宗旨在于从Hadoop2出发，结合作者在实际工作中的经验，提供一套最新版本的Hadoop2相关教程。

为什么是Hadoop2.2.0，而不是Hadoop2.4.0
本文写作时，Hadoop的最新版本已经是2.4.0，但是最新版本的Hbase0.98.1仅支持到Hadoop2.2.0，且Hadoop2.2.0已经相对稳定，所以我们依然采用2.2.0版本。

一. Hadoop安装（伪分布式）
1. 操作系统
Hadoop一定要运行在Linux系统环境下，网上有windows下模拟linux环境部署的教程，放弃这个吧，莫名其妙的问题多如牛毛。

2. 安装JDK
1> 下载并解压JDK
我的目录为：/home/apple/jdk1.8
2> 配置环境变量
打开/etc/profile，添加以下内容：
export JAVA_HOME=/home/apple/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
执行source /etc/profile ，使更改后的profile生效。

执行以下命令，赋予JDK运行的权限：
chmod 777 /home/apple/jdk1.8/bin/*
chmod 777 /home/apple/jdk1.8/lib/*
3> 检测JDK环境
执行 java –version ，查看结果，如出现如下提示，则说明JDK已成功配置：
3. 安装SSH
1> 检验ssh是否已经安装
Ubuntu系统可以通过如下命令来查看ssh是否已经安装：
netstat -an| grep 22
如果已安装，可跳过第二步。

2> 安装ssh
Ubuntu系统可以通过如下命令来安装ssh：
sudo apt-get install ssh
3> 配置ssh免密码登录
通过如下命令来配置ssh免密码登录：
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
输入如下命令验证免密码登录是否成功：
ssh localhost
如出现如下界面，则表示登录成功：
4. 安装Hadoop
1> 下载并解压
我的目录为：/home/apple/hadoop-2.2.0
2> 配置环境变量
打开/etc/profile，添加以下内容：
export HADOOP_HOME=/home/apple/hadoop-2.2.0
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export YARN_HOME=$HADOOP_HOME
export
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 执行source /etc/profile ，使更改后的profile生效。

执行以下命令，赋予Hadoop运行的权限：
chmod 777 /home/apple/hadoop-2.2.0/bin/*
chmod 777 /home/apple/hadoop-2.2.0/sbin/*
3> 配置Hadoop
修改$HADOOP_HOME/etc/hadoop目录下的配置文件。

core-site.xml添加以下内容：
<property>
<name></name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.native.lib</name>
<value>true</value>
</property>
hadoop-env.sh修改以下内容：
export JAVA_HOME=/home/apple/jdk1.8
hdfs-site.xml添加以下内容：
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>.dir</name>
<value>file:/home/apple/hadoop-2.2.0/hdfs/namenode</value> </property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/apple/hadoop-2.2.0/hdfs/datanode</value> </property>
这里的两个地址，是你namenode和datanode两个节点上，希望hdfs文件存储
的位置。

mapred-site.xml.template改为mapred-site.xml，添加以下内容：
<property>
<name></name>
<value>yarn</value>
</property>
yarn-site.xml添加以下内容：
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
4> 启动并验证
用如下命令启动或关闭Hadoop：
start-all.sh
stop-all.sh
如果一切正常，使用jps命令你会看到如下信息：
访问8088端口可以查看job信息
访问50070端口可以查看namenode信息：
二. Hbase安装
1. 下载并解压
解压从官网下的hbase-0.98.1-hadoop2-bin.tar.gz包到本地目录，我的目录为
/home/apple/hbase-0.98.1。

2. 配置环境变量
打开/etc/profile，添加以下内容：
export HBASE_HOME=/home/apple/hbase-0.98.1
export
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBAS E_HOME/bin:
执行source /etc/profile ，使更改后的profile生效。

执行以下命令，赋予Hbase运行的权限：
chmod 777 /home/apple/hbase-0.98.1/bin/*
3. 配置Hbase
打开HBASE_HOME/conf/hbase-env.sh，添加以下内容：
export JAVA_HOME=/home/apple/jdk1.8/
export HBASE_MANAGES_ZK=true
打开HBASE_HOME/conf/hbase-site.xml，添加以下内容：
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master</name>
<value>localhost:60000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>localhost</value>
</property>
4. 启动Hbase
用如下命令启动和关闭Hbase：
start-hbase.sh
stop-hbase.sh
注意：必须先启动Hadoop，再启动Hbase；先关闭Hbase，再关闭Hadoop 启动后，使用jps查看Hbase进程：
如有错误或Hbase进程未启动，可通过HBASE_HOME/ logs/ hbase-apple-master-机器名.log来查看启动过程信息。

5. 验证Hbase
用如下命令进入Hbase：
hbase shell
通过list命令，查看所有表名：
三. Sqoop安装
1. 下载并解压
解压从官网下的sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz包到本地目录，我的目录为/home/apple/sqoop-1.4.4。

2. 配置环境变量
打开/etc/profile，添加以下内容：
export SQOOP_HOME=/home/apple/sqoop-1.4.4
export
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBAS E_HOME/bin:$SQOOP_HOME/bin
执行source /etc/profile ，使更改后的profile生效。

执行以下命令，赋予Sqoop运行的权限：
chmod 777 /home/apple/sqoop-1.4.4/bin/*
3. 配置Sqoop
打开SQOOP_HOME/conf/sqoop-env.sh，添加以下内容：
export HADOOP_COMMON_HOME=Hadoop路径
export HADOOP_MAPRED_HOME= Hadoop路径/share/hadoop/mapreduce
export HBASE_HOME=Hbase路径（不用Hbase可不填）
export HIVE_HOME= Hive路径（不用Hive可不填）
4. 启动与验证Sqoop
Sqoop无需启动即可使用，我们通过一条链接mysql数据库的命令，来验证Sqoop是否可用：
sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password root
如果运行成功，我们会看到所有的数据库名称列表：
四. Hive安装
1. 下载并解压
解压从官网下的apache-hive-0.13.0-bin.tar.gz包到本地目录，我的目录为
/home/apple/hive-0.13。

2. 配置环境变量
打开/etc/profile，添加以下内容：
export HIVE_HOME=/home/apple/hive-0.13
export
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBAS E_HOME/bin:$HIVE_HOME/bin:$SQOOP_HOME/bin
执行source /etc/profile ，使更改后的profile生效。

执行以下命令，赋予Sqoop运行的权限：
chmod 777 /home/apple/hive-0.13/bin/*
3. 配置Hive
打开HIVE_HOME/conf/hive-site.xml，添加以下内容：
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.0.230:3306/hive?createDatabaseIfNotExist=tru e</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description> </property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
<description>password to use against metastore database</description> </property>
以上四项分别是：
数据库连接，数据库驱动名，用户名，密码。

复制数据库驱动jar包到HIVE_HOME/lib目录。

注意：如果hive的数据库使用的是mysql，不要使用utf8编码格式，而使用latin1编码。

4. 启动与验证Hive
使用hive命令进入Hive的操作界面，进入成功后如下图所示：
查看数据库，会看到hive自动创建的一系列表：。