HIVE安装使用说明

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

HIVE安装使用说明

一、Hive简介

1.1.Hive是什么

Hadoop作为分布式运算的基础架构设施,统计分析需要采用MapReduce编写程序后,放到Hadoop集群中进行统计分析计算,使用起来较为不便,Hive产品采用类似SQL的语句快速实现简单的MapReduce统计,很大程度降低了Hadoop的学习使用成本。

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供基础的SQL查询功能,可以将SQL 语句转换为MapReduce任务运行,而不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

1.2.部署架构

Hive中的Driver为核心驱动部分,包括SQL语句的解释、编译为MapReduce任务,并进行优化、执行。

Hive用户访问包括4种运行和访问方式,一是CLI客户端;二是HiveServer2和Beeline方式;三是HCatalog/WebHCat方式;四是HWI 方式。

其中CLI、Beeline均为控制台命令行操作模式,区别在于CLI只能操作本地Hive服务,而Beeline可以通过JDBC连接远程服务。

HiveServer2为采用Thrift提供的远程调用接口,并提供标准的JDBC 连接访问方式。

HCatalog是Hadoop的元数据和数据表的管理系统,WebHCat则提供一条Restful的HCatalog远程访问接口,HCatalog的使用目前资料很少,尚未充分了解。

HWI是Hive Web Interface的简称,可以理解为CLI的WEB访问方式,因当前安装介质中未找到HWI对应的WAR文件,未能进行使用学习。

Hive在运行过程中,还需要提供MetaStore提供对元数据(包括表结构、表与数据文件的关系等)的保存,Hive提供三种形式的MetaStore:一是内嵌Derby方式,该方式一般用演示环境的搭建;二是采用第三方数据库进行保存,例如常用的MySQL等;三是远程接口方式,及由Hive自身提供远程服务,供其他Hive应用使用。在本安装示例中采用的第二种方式进行安装部署。

备注:在本文后续的安装和说明中,所有示例均以HiverServer2、

Beeline方式进行。

另:因Hive在查询时性能较差,后期拟计划采用SPARK或Presto 进行替代,因此本安装手册不对Hive的集群方案进行描述。

1.3.环境说明

本安装示例在Ubuntu 14.04.3的虚拟器中进行安装,并提前安装配置Hadoop。

二、MySQL安装配置

2.1. MySQL安装

登录到hdfs3中,安装MySQL服务器。

$ sudo apt-get install mysql-server

修改my.cfg的配置文件

$ sudo vi /etc/mysql/my.cfg

修改内容如下:

bind-address = 10.68.19.183

:wq

重新启动mysql服务

$ sudo service mysql restart

2.2. 创建Hive需要的数据库和用户

$ mysql -uroot -p

依次输入以下命令:

# 创建hive用户

insert into er(Host,User,Password)

values("localhost","hive",password("hive"));

# 创建数据库

create database hive;

# 授权

grant all on hive.*to hive@'%'identified by'hive';

grant all on hive.*to hive@'localhost'identified by'hive';

flush privileges;

# 退出

exit

三、Hive安装

3.1. 下载Hive

从官网(/downloads.html)上下载最新的稳定版本地址,并上传到服务器上。

本安装示例采用的版本为apache-hive-1.2.1-bin.tar.gz。

3.2. 解压并配置环境变量

解压安装文件到/opt目录

$ tar-zxvf apache-hive-1.2.1-bin.tar.gz -C /opt

修改环境变量

$ sudo vi /etc/profile

修改如下内容

export HIVE_HOME=/opt/hive-1.2.1

export PATH="$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$PATH"

:wq

启用配置

$ source/etc/profile

3.3. 修改配置文件

$ cd$HIVE_HOME

$ cp conf/hive-default.xml.template conf/hive-site.xml

$ vi conf/hive-site.xml

修改以下内容的值

javax.jdo.option.ConnectionURL

jdbc:mysql://10.68.19.183:3306/hive

JDBC connect string for a JDBC metastore

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

Driver class name for a JDBC metastore

javax.jdo.option.ConnectionPassword

hive

password to use against metastore

database

javax.jdo.option.ConnectionUserName

hive

Username to use against metastore

database

hive.exec.local.scratchdir

/data/hive/scratach

Local scratch space for Hive jobs

hive.downloaded.resources.dir

/data/hive/download

Temporary local directory for added resources in the remote file system.

相关文档
最新文档