4.Hive应用实例
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
[(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [ROW FORMAT row_format] [STORED AS file_format]
1.创建表
2.操作表属性
显示数据库下面所有表 显示建表结果 删除表 插入数据
4.Hive实现WordCount
（1）准备文本内容 新建一个文件夹,存放输出结果,路径为/opt/wordcount
4.Hive实现WordCount
（2）开启Hive
4.Hive实现WordCount
（3）创建表 在student_db数据库中，创建表num1
4.Hive实现WordCount
（5）数据聚合，先将reducer的数量设置为1；
4.Hive实现WordCount
（6）输出到本地
4.Hive实现WordCount
（7）查看数据
本讲主要讲解了在创建表、操作表属性、创建视图的基本指令及 Hive中实现WordCount算法完整过程。
通过本讲的学习，希望大家能够掌握在Hive中进行表操作的 相关指令；掌握WordCount算法的逻辑，掌握在Hive中实现 WordCount算法的指令。
谢谢观看
3.创建视图
假设student表拥有如下字段： Id, Name, Age， 检索年龄超过20岁的成员信息， 把结果存储在视图 picture中， 然后在查看视图。
4.Hive实现WordCount
WordCount的逻辑就是给定一个/多个文本，统计出文本中每 次单词/词出现的次数。
4.Hive实现WordCount
2.操作表属性
插入数据
2.操作表属性
插入数据
2.操作表属性
插入数据
2.操作表属性
插入数据
2.操作表属性
插入数据
3.创建视图
语法如下： CREATE VIEW [IF NOT EXISTS] view_name [(column_name [COMMENT column_comment], ...) ][COMMENT table_comment]AS SELECT ...
（3）创建表 将准备的数据(hello.txt)加载到表里
4.Hive实现WordCount
（3）创建表 创建表num2，用来存放切割出来的数据
4.Hive实现WordCount
（4）数据切割
4.Hive实现WordCount
（4）数据切割：查看num2中切割出来的结果
4.Hive实现WordCount
2.操作表属性
显示数据库下面所有表
SHOW TABLES;
2.操作表属性
显示建表结果
SHOW CREATE TABLE table_name;
2.操作表属性
删除表
DROP TABLE [IF EXISTS] table_name;
2.操作表属性
插入数据
INSERT INTO TABLE_NAME (列1,列5...) VALUES(VALUE1,VALUE5...)
交通大数据处理与分析——
Hive应用实例
Hive应用实例
知识目标：
1.掌握创建表的指令 2.掌握删除表的指令 3.掌握操作表属性的指令 4.能够在Hive中实现WordCount算法
Hive应用实例
创建表 操作表属性 创建视图 Hive实现WordCount
1.创建表
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.] table_name
实现流程分为三步： 分割本文。根据分割符对文本进行分割，切分出每个单词； 行转列。对分割出来的词进行处理，每个单词作为一行； 统计计数。统计每个单词出现的次数。
4.Hive实现WordCount
开启h百度文库doop
4.Hive实现WordCount
（1）准备文本内容 新建一个 /root/bigdata/hello.txt文本，文本内容如下
1.创建表
2.操作表属性
显示数据库下面所有表 显示建表结果 删除表 插入数据
4.Hive实现WordCount
（1）准备文本内容 新建一个文件夹,存放输出结果,路径为/opt/wordcount
4.Hive实现WordCount
（2）开启Hive
4.Hive实现WordCount
（3）创建表 在student_db数据库中，创建表num1
4.Hive实现WordCount
（5）数据聚合，先将reducer的数量设置为1；
4.Hive实现WordCount
（6）输出到本地
4.Hive实现WordCount
（7）查看数据
本讲主要讲解了在创建表、操作表属性、创建视图的基本指令及 Hive中实现WordCount算法完整过程。
通过本讲的学习，希望大家能够掌握在Hive中进行表操作的 相关指令；掌握WordCount算法的逻辑，掌握在Hive中实现 WordCount算法的指令。
谢谢观看
3.创建视图
假设student表拥有如下字段： Id, Name, Age， 检索年龄超过20岁的成员信息， 把结果存储在视图 picture中， 然后在查看视图。
4.Hive实现WordCount
WordCount的逻辑就是给定一个/多个文本，统计出文本中每 次单词/词出现的次数。
4.Hive实现WordCount
2.操作表属性
插入数据
2.操作表属性
插入数据
2.操作表属性
插入数据
2.操作表属性
插入数据
2.操作表属性
插入数据
3.创建视图
语法如下： CREATE VIEW [IF NOT EXISTS] view_name [(column_name [COMMENT column_comment], ...) ][COMMENT table_comment]AS SELECT ...
（3）创建表 将准备的数据(hello.txt)加载到表里
4.Hive实现WordCount
（3）创建表 创建表num2，用来存放切割出来的数据
4.Hive实现WordCount
（4）数据切割
4.Hive实现WordCount
（4）数据切割：查看num2中切割出来的结果
4.Hive实现WordCount
2.操作表属性
显示数据库下面所有表
SHOW TABLES;
2.操作表属性
显示建表结果
SHOW CREATE TABLE table_name;
2.操作表属性
删除表
DROP TABLE [IF EXISTS] table_name;
2.操作表属性
插入数据
INSERT INTO TABLE_NAME (列1,列5...) VALUES(VALUE1,VALUE5...)
交通大数据处理与分析——
Hive应用实例
Hive应用实例
知识目标：
1.掌握创建表的指令 2.掌握删除表的指令 3.掌握操作表属性的指令 4.能够在Hive中实现WordCount算法
Hive应用实例
创建表 操作表属性 创建视图 Hive实现WordCount
1.创建表
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.] table_name
实现流程分为三步： 分割本文。根据分割符对文本进行分割，切分出每个单词； 行转列。对分割出来的词进行处理，每个单词作为一行； 统计计数。统计每个单词出现的次数。
4.Hive实现WordCount
开启h百度文库doop
4.Hive实现WordCount
（1）准备文本内容 新建一个 /root/bigdata/hello.txt文本，文本内容如下