Hadoop大数据平台部署与应用

WordCount：Hive 实现
SELECT word, COUNT(*) FROM doc LATERAL VIEW explode(split(text, ' ')) lTable as word GROUP BY word;
WordCount：Pig 实现
-- ① 加载数据
input = load ‘/input/data’ as (line:chararray);

CDH（Cloudera Distributed Hadoop）

推荐使用最新的 CDH5 版本，比如 CDH 5.0.0

通常用于进行离线数据处理（采用 MapReduce）

可认为是一个 HQL→MR 的语言翻译器
Pig（作业流引擎）

由 yahoo! 开源

是提供一种基于 MapReduce 的 ad-hoc 数据分析工具 构建在H一种数据流语言 —— Pig Latin

通常用于进行离线分析
MapReduce
（DAG计算）
Tez
（内存计算）
Spark
……
（分布式存储系统）
HDFS
Flume
（分布式计算框架）
YARN
Sqoop
Hive
Pig
Hive2
Pig2
Shark
……
2、Hadoop 发行版介绍（开源版）
Hadoop 发行版介绍（开源版）

Apache Hadoop

推荐使用最新的2.x.x版本，比如2.4.0 下载地址：/releases.html SVN：/repos/asf/hadoop/common/branches/
DataNode
DataNode
DataNode
DataNode
DataNode
Local Disk
Local Disk
Local Disk
Local Disk
Local Disk
HDFS 架构

Active Namenode

主 Master（只有一个），管理 HDFS 的名称空间，管理数据块映射信息 配置副本策略；处理客户端读写请求 NameNode 的热备；定期合并 fsimage 和 fsedits，推送给 NameNode； 当 Active NameNode 出现故障时，快速切换为新的 Active NameNode。 Slave（有多个）；存储实际的数据块；执行数据块读 / 写 与 NameNode 交互，获取文件位置信息； 与 DataNode 交互，读取或者写入数据；管理 HDFS、访问 HDFS。
YARN
(cluster resource management)
HDFS
(redundant, reliable storage)
HDFS
(redundant, reliable storage)
• 分布式存储系统 HDFS（Hadoop Distributed File System）
提供了高可靠性、高扩展性和高吞吐率的数据存储服务
WordCount：MapReduce 实现
public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context ) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context ) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } }

发表于 2006 年 11 月 Hbase 是 Google Bigtable 克隆版
Hadoop 生态系统：2.0 时代
（安装部署工具）
Ambari
（作业流调度系统） （数据库TEL工具） （日志收集）
Oozie
（分布式数据库）
Hbase
（分布式协调服务）
Zookeeper
（分布式计算框架）
Bear，2 Car，3 Deer ，2 River，2
River，1 River，1
River，2
Hadoop 构成：YARN（资源管理系统）
Application Run Natively IN Hadoop
BATCH
(MapReduce)
InterActive
(Tez)
ONLINE
(HBase)
良好的扩展性
高容错性
适合 PB 级以上海量数据的离线处理
词频统计的 MapReduce 处理过程
Input
Splitting
Mapping
Shuffling
Bear，1 Bear，1
Reducing
Final result
Deer Bear River
Deer，1 Bear，1 River，1
Bear，2
WordCount：MapReduce 实现
public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); if (otherArgs.length != 2) { System.err.println("Usage: wordcount <in> <out>"); System.exit(2); } Job job = new Job(conf, "word count"); job.setJarByClass(WordCount.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); }
-- ⑤ 打印结果 dump cntd;
Mahout（数据挖掘库）

Mahout

基于Hadoop的机器学习和数据挖掘的分布式计算框架

实现了三大类算法

推荐(Recommendation) 聚类(Clustering)
分类(Classification)
Hbase（分布式数据库）

源自 Google 的 Bigtable 论文
Hadoop大数据平台部署与应用
主讲：吕震宇
主要内容

1、Hadoop 生态系统概述以及版本演化 2、Hadoop 发行版介绍（开源版）
3、Hadoop 安装
4、HDFS 上机操作 5、HBASE 上机操作 6、YARN 上机操作 7、MapReduce 上机操作

8、SPARK 概述

Secondary NameNode


Datanode


Client

MapReduce

源自于 Google 的 MapReduce 论文

发表于 2004 年 12 月 Hadoop MapReduce 是 Google MapReduce 克隆版

MapReduce特点


由Facebook开源，最初用于海量结构化日志数据统计；

ETL（Extraction-Transformation-Loading）工具

构建在Hadoop之上的数据仓库

数据计算使用 MapReduce，数据存储使用HDFS