hive简介

https:///confluence/display/Hive/GettingStarted#GettingStartedSQLOperations
DDL and DML Operations
创建表的语句： Create [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] • 一个表可以拥有一个或者多个分区，每一个分区单独存在一个目录下 [CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] • 表和分区可以对某个列进行 CLUSTERED BY 操作，把列hash到桶中 • 也可以利用SORT BY 对数据进行排序 [ROW FORMAT row_format] • eg:row format delimited fields terminated by ‘\t’ • hive只支持单个字符的分隔符，hive默认的分隔符是\001, (ctrl + A) [STORED AS file_format] 存储格式：TEXTFILE（文本），SEQUENCE（压缩） LOCATION hdfs_path
• A system for managing and querying structure data built on top of hadoop
• Easy for ETL • HDFS for storage • Use Map-Reduce for execu Configuration
Hadoop Common/Core
日志分析的价值
Web日志中包含了大量可用信息，如： • 网站每类页面的PV值、独立IP数 • 用户所检索的关键词排行榜 • 用户停留时间最高的页面 • 更复杂的，构建广告点击模型 • 分析用户行为特征等等。
免费的日志分析工具，如：awstats、Webalizer（数据源存储在本地） 在页面中嵌入js代码的，把日志输出到了它们的服务器。 • Google perations
删除表：
Drop Table tablename;
• 删除一个内部表的同时会删除表的元数据和数据 • 删除一个外部表，只删除元数据而保留数据
DDL and DML Operations
修改表：
1.增加分区 ADD PARTITIONS： ALTER TABLE table_name ADD partition_spec [ LOCATION 'location1' ] partition_spec [ LOCATION 'location2' ]
Hive Service JVM 内嵌 模式 Driver Metastore Derby
Hive Service JVM Driver 本地 模式 Metastore MySql
Hive Service JVM Metastore Driver Hive Service JVM Driver
Metastore server jvm MySql Metastore server jvm
基于集群并行计算 主要基于单机的计算
不同的日志分析方式
例子：由同ip访问的次数
linux shell脚本：
source_file 包含字段：ip,sessid,空格分割 $ cat source_file | awk –F ‘ ’ ‘{print $1}’ | sort \ >| uniq –c | sort –k1 –nr > result.csv 2>&1 &
HIVE
Data Warehousing & Analytics on Hadoop meilishuo data team wenjiang chen
HADOOP项目结构图
Hive HBase Mahout
Pig
Chukwa
Cassandra
MapReduce
HDFS
Zookeeper Avro
• • 用户可以用 ALTER TABLE DROP PARTITION 来删除分区 分区的元数据和数据将被一并删除
例：alter table test_partition drop partition (dt='2012-03-12') 3.对表进行重命名 RENAME TO： ALTER TABLE table_name RENAME TO new_table_name
DDL and DML Operations
创建表：
1. 创建普通的表： CREATE TABLE test_table (id INT,name STRING,no INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t' STORED AS TEXTFILE ; 2. 创建带有partition的表： CREATE TABLE test_partition (id INT,name STRING,no INT) PARTITIONED BY (dt STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t' STORED AS TEXTFILE ; LOAD DATA LOCAL INPATH ’/tmp/test_hive.txt' OVERWRITE INTO TABLE test_partition PARTITION (dt='2012-03-12'); 3. 创建带有Bucket的表： CREATE TABLE test_bucket (id INT,name STRING,no INT) PARTITIONED BY (dt STRING) CLUSTERED BY (id) INTO 3 BUCKETS ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t' STORED AS TEXTFILE ; 4. 创建external表： CREATE EXTERNAL TABLE test_external (id INT,name STRING,no INT) ROW FORMAT DELIMITED fields TERMINATED BY ',' LOCATION ’/tmp/test_hive.txt’; 5. 创建与已知表相同结构的表 Like：(只复制表的结构，而不复制表的内容) CREATE TABLE test_like_table LIKE test_bucket;
例：alter table test_partition add partition (dt='2012-03-12') location ’/tmp/test_hive.txt'; 2.删除分区 DROP PARTITION： 删 ： ALTER TABLE table_name DROP partition_spec, partition_spec,...
远程 模式
Hive Service JVM Driver
DDL and DML Operations
参考文档：
https:///confluence/display/Hive/GettingStarted#GettingStartedDDLOperations
https:///confluence/display/Hive/GettingStarted#GettingStartedDMLOperations
CLI
JDBC/O DBC Thrift Server Driver(Compiler, Optimizer,execut or)
WEB GUI
公 司 目 前 的 Hadoop
metadata
MapReduce HDFS hd03
集 群
hd01
hd02
hd04
hd05
hd06
What is Hive？
SQL查询： SELECT ip,count(ip) ipcount FROM table GROUP BY ip
（注:表table 只有ip一个字段）
基于hadoop的日志分析
第二轮： 第一轮： Map阶段： Map阶段： while(input.values.hasN foreach(record in input) { ext()) { ip = record.ip; count += dict[ip]++; input.values.next(); } } Reduce阶段： Reduce阶段： foreach(<ip, count> in dict) { foreach(<ip, count> in emit(ip, count); dict) { } emit(ip, count); }
• • 数据所在的位置和分区名并不改变 换而言之，老的表名并未“释放”，对老表的更改会改变新表的数据。
例：alter table test_partition rename to new_test_partition;
DDL and DML Operations
修改表：
4.对表中的某列进行修改，包括列的名称/列的数据类型/列的位置/列的注释 ALTER TABLE table_name CHANGE [COLUMN] col_old_name col_new_name column_type [COMMENT col_comment] [FIRST|AFTER column_name]