hive编程指南

文本文件数据编码：
CSV:以逗号分割值
TSV:以制表符分割值
\n：对记录进行分割
^A:分割列
^B:分割ARRAY数据,STRUCT数据,MAP中的键值对
^C:用于MAP键和值之间的分割
自定义分隔符（一般不自己指定）：
CREATE TABLE employees(
name STRING,
$hive --hiveconf y=5;
一次性命令：
$hive -S -e "SELECT * FROM mytable LIMIT 3"> /tmp/myquery
$cat /tmp/myquery(本地文件，而不是hdfs文件)
在shell中直接执行一个hive脚本
$hive -S -e "set" | grep warehouse (不能完整记清楚某个属性的名字时可以用模糊查)
OK 正确执行
Time taken :0.834 seconds 总共花费的时间
metastore.db 和derby.log
$hive --help
命令选项和服务类型
变量和属性
>set env:HOME; 查看env命名空间下的HOME 环境变量的值
>set; 显示所有环境变量
SELECT * FROM massive_table;
只能使用hive -f script_name;执行，不能直接复制粘贴
查询时显示字段名称
>set hive.cli.print.header=true;
>SELECT * FROM sytem_logs LIMIT 3; 会显示列名
采取安全措施(对于大量读取数据时)：
>set hive.mapred.mode=strict
>SELECT ,e.salary FROM employees e LIMIT 100;？？？？怎么查无错
>set hive.mapred.mode=nonstrict;
>SHOW PARTITIONS employees;(显示所有分区)
hive中变量和属性所在的命名空间：
hivevar :用户自定义的变量 读/写
system:java定义的配置属性 读/写
env:shell定义的环境变量 读
hivecof:hive相关的配置属性 读/写
>set foo;查看
>set hivevar:foo=bar2;设置
$hive --hivevar foo=bar1;
hive的基本数据类型:
TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,TIMESTAMP,BINARY(字节数组)
hive的类型都是对java接口的实现；
集合数据类型：
MAP, ['last'] map('first','JOIN','last','Doe')
>SHOW PARTITIONS employees PARTITION(country='US');
>SHOW PARTITION employees PARTITION(country='US',state='AK');
>DESCRIBE EXTENDED employees;
LOAD DATA LOCAL INPATH '${env：HOME}/california-employees'
>COMMENT 'holds all financial tables';
>DESCRIBE DATABASE financials;
>CREATE DATABASE financials
>WITH DBPROPERTIES('creator'='mark moneybags','date'='2013-02-01');
PARTITIOINED BY (ds STRING)
ROW FORMAT SERDE 'com.linkedin.haivvreo.AvroSerDe'
WITH SEREDPROPERTIES ('schema.url'='http://schema_provider/kst.avsc')
LIKE mydb.employees
LOCATION '/path/to/data'
注意EXTERNAL关键字，有一定是外部表，没有时原表是内部表，新表才是内部表
分区表：
分区表的目录结构
/employees/country=CA/state=AB
/employees/country=CA/state=BC
hive 会自动增加两个表属性，一个是last_modified_by保存着最后修改这个表的用户名；另一个是last_modified_time,保存着最后一次修改的新纪元时间秒；
>CREATE TABLE IF NOT EXISTS mydb.employees2 LIKE mydb.employees（无需拷贝数据）？？？
STORED AS
INPUTFORMAT 'com.linkedin.haivvreo.AvroContainerInputFormat'
读《hive 编程指南有感》
hvie 不是一个完整的数据库，其中最大的限制是hive不支持记录级别的更新，插入，删除。
但是用户可以通过查询生成新表或者将查询结果导入到文件中。hive是基于mapreduce的，查询速度慢。
hive不支持OLTP所需的关键功能，而更新接近成为一个OLAP工具。
>dfs -ls /; hadoop的hdfs功能；更高效因为只会有一个进程，而每次hadoop dfs 都会启动一个新的jvm实例；
>dfs -help;
hive 脚本中注释：
--copyright (c)2014 Megacorp ,LLC.
--This is the best Hive script evar!!
>set -v;显示与hadoop有关的环境变量
>CREATE TABLE toss(i INT,${hiver:foo} STRING);
>CREATE TABLE toss(i INT,${foo} STRING);
>DESCRIBE toss;
>set hive.cli.print.current.db=true; 可以查看自己所在的数据库，并且可以通过use member;进行切换；
FILEDS TERMINATED BY '\001' 也可以指定 ','
COLLECTION ITEMS TERMINATED BY '\002'
MAP KEYS TERMINITED BY '\003'
LINES TERMINATED BY '\n'(目前为止，只支持换行分割符)
STORED AS TEXTFILE;
一般数据库都是'写时模式'（在写入时进行数据的检查，是否损坏），
hive采用的是读时模式（在读取数据时，进行数据检查）
如果模式与文件内容不匹配时，hive将缺少的列返回null
>CREATE DATABASE member;
>CREATE DATABASE IF NOT EXITS member;
ARRAY, [1] array('JOHN','Doe')
STRUCT .first struct(first STRING,last STRING)
MAP中的数据以键值对的形式存储，ARRAY中的数据类型必须一致，
STRUCT中的数据类型可以混合，但是一旦创建就不允许更改
salary FLOAT,
subordinates ARRAY<STRING>,
deductions MAP<STRING,FLOAT>,
address STRUCT<street:STRIGN,city:STRING,state:STRING,zip:INT>
)
ROW FORMAT DELIMITED
$echo "one row"> /tmp/myfile
$hive -e "LOAD DATA LOCAL INPATH '/tmp/myfile' INTO TABLE src";
hiverc文件：
hive:自动补全功能
>!pwd; 执行shell命令，但是不支持用户输入的交互式命令，而且不支持shell的”管道“功能和文件名的自动补全功能。
>SHOW DATABASES;
>SHOW DATABASE LIKE 'h.*'
/user/hive/warehouse/financials.db
>CREATE DATABASE financials
>LOCATION '/my/preferred/directory';