hadoop架构介绍 PPT
合集下载
Hadoop技术介绍ppt课件
课件部分内容来源于网络，如有异 议侵权的话可以联系删除，可编辑 版！
18
课件部分内容来源于网络，如有异 议侵权的话可以联系删除，可编辑 版！
19
课件部分内容来源于网络，如有异 议侵权的话可以联系删除，可编辑 版！
12
目录
Hadoop是什么 Hadoop是如何运作的
Hadoop能做什么
大数据时代三架马车
课件部分内容来源于网络，如有异 议侵权的话可以联系删除，可编辑 版！
13
Hive/Pig 数据仓库工具 HBase 列式数据库 Hadoop 数据底层 ETL Pig BI Report RDBMS Hive
集群拓扑结构 8
数据存取策略
HDFS上的最小数据单元为Block。原始文件被分成1个或者多个Block，默认 Block大小为64M，默认存储3份Block。 由NameNode决定三份Block分别存放在哪些DataNode上。根据散列算法出第一份 数据的存放节点，在同一机架（Rack）中的另一个DataNode保存第二份数据，在不同 机架的另一个DataNode保存第三份数据。NameNode记录了数据的所有位置信息。 客户端对数据的存取都是直接与DataNode之间进行数据传输，NameNode向客户端 反馈数据的位置信息和数据节点的信息。
大数据时代三架马车
课件部分内容来源于网络，如有异 议侵权的话可以联系删除，可编辑 版！
5
MapReduce
化大为小
化繁为简
开发方式 实现map函数 实现reduce函数
课件部分内容来源于网络，如有异 议侵权的话可以联系删除，可编辑 版！
6
统计词频
方法一 写一个小程序遍历整个文件，统计每一个遇到的词的出现次数。 方法二 写一个多线程并发遍历整个文件。
Hadoop - 介绍
FS/namespace/meta ops
Clint
NameNode
Second NameNode
Namespace backup
Heartbeats,balancing,replication etc
DataNode
Data serving
DataNode
DataNode
DataNode
DataNode
Google 云计算
MapReduce BigTable Chubby
GFS
Hadoop可以做什么？
案例1：我想知道过去100年中每年的最高温 度分别是多少？
这是一个非常典型的代表，该问题里边包含了大量的信息数据。
针对于气象数据来说，全球会有非常多的数据采集点，每个采 集点在24小时中会以不同的频率进行采样，并且以每年持续365 天这样的过程，一直要收集 100年的数据信息。然后在这 100年 的所有数据中，抽取出每年最高的温度值，最终生成结果。该 过程会伴随着大量的数据分析工作，并且会有大量的半结构化 数据作为基础研究对象。如果使用高配大型主机（ Unix环境） 计算，完成时间是以几十分钟或小时为单位的数量级，而通过 Hadoop完成，在合理的节点和架构下，只需要“秒”级。
HIVE
ODBC Command Line JDBC Thrift Server Metastore Driver （Compiler,Optimizer,Executor ） Hive 包括
元数据存储（Metastore） 驱动（Driver）
查询编译器（Query Compiler）
1. HDFS（Hadoop分布式文件系统）
HDFS：源自于Google的GFS论文，发表于2003年10月， HDFS是GFS克隆版。是Hadoop体系中数据存储管理的 基础。它是一个高度容错的系统，能检测和应对硬件 故障，用于在低成本的通用硬件上运行。HDFS简化 了文件的一致性模型，通过流式数据访问，提供高吞 吐量应用程序数据访问功能，适合带有大型数据集的 应用程序。 Client：切分文件；访问HDFS；与NameNode交互， 获取文件位置信息；与DataNode交互，读取和写入数 据。 NameNode：Master节点，在hadoop1.X中只有一个， 管理HDFS的名称空间和数据块映射信息，配置副本 策略，处理客户端请求。 DataNode：Slave节点，存储实际的数据，汇报存储信 息给NameNode。 Secondary NameNode：辅助NameNode，分担其工作 量；定期合并fsimage和fsedits，推送给NameNode；紧 急情况下，可辅助恢复NameNode，但Secondary NameNode并非NameNode的热备。
Clint
NameNode
Second NameNode
Namespace backup
Heartbeats,balancing,replication etc
DataNode
Data serving
DataNode
DataNode
DataNode
DataNode
Google 云计算
MapReduce BigTable Chubby
GFS
Hadoop可以做什么？
案例1：我想知道过去100年中每年的最高温 度分别是多少？
这是一个非常典型的代表，该问题里边包含了大量的信息数据。
针对于气象数据来说，全球会有非常多的数据采集点，每个采 集点在24小时中会以不同的频率进行采样，并且以每年持续365 天这样的过程，一直要收集 100年的数据信息。然后在这 100年 的所有数据中，抽取出每年最高的温度值，最终生成结果。该 过程会伴随着大量的数据分析工作，并且会有大量的半结构化 数据作为基础研究对象。如果使用高配大型主机（ Unix环境） 计算，完成时间是以几十分钟或小时为单位的数量级，而通过 Hadoop完成，在合理的节点和架构下，只需要“秒”级。
HIVE
ODBC Command Line JDBC Thrift Server Metastore Driver （Compiler,Optimizer,Executor ） Hive 包括
元数据存储（Metastore） 驱动（Driver）
查询编译器（Query Compiler）
1. HDFS（Hadoop分布式文件系统）
HDFS：源自于Google的GFS论文，发表于2003年10月， HDFS是GFS克隆版。是Hadoop体系中数据存储管理的 基础。它是一个高度容错的系统，能检测和应对硬件 故障，用于在低成本的通用硬件上运行。HDFS简化 了文件的一致性模型，通过流式数据访问，提供高吞 吐量应用程序数据访问功能，适合带有大型数据集的 应用程序。 Client：切分文件；访问HDFS；与NameNode交互， 获取文件位置信息；与DataNode交互，读取和写入数 据。 NameNode：Master节点，在hadoop1.X中只有一个， 管理HDFS的名称空间和数据块映射信息，配置副本 策略，处理客户端请求。 DataNode：Slave节点，存储实际的数据，汇报存储信 息给NameNode。 Secondary NameNode：辅助NameNode，分担其工作 量；定期合并fsimage和fsedits，推送给NameNode；紧 急情况下，可辅助恢复NameNode，但Secondary NameNode并非NameNode的热备。
Hadoop与Spark简介 课件
MapReduce程序通过Client提交到JobTracker端 用户通过Client提供的接口查看作业运行状态
JobTracker
JobTracker负责资源监控和作业调度 JobTracker 监控所有TaskTracker与Job的状况，
一旦失败，就将任务转移到其他节点 JobTracker 跟踪任务执行进度、资源使用量等，
CONTENTS
03 HDFS简介 Introduction of HDFS
04 Spark概述 Overview of Spark
2 MapReduce简介
2.1 分布式并行编程
摩尔定律
CPU性能大约每隔18个月翻一番 从2005年开始摩尔定律逐渐失效 ，需要处理的数据量快速增加，人们开始借助于分布式
Kafka Spark
一种高吞吐量的分布式发布订阅消息系 统，可以处理消费者规模的网站中的所
有动作流数据
类似于Hadoop MapReduce的通用并 行框架
01 Hadoop概述 Overview of Hadoop
Hadoop与Spark简介
02 MapReduce简介 Introduction of MapReduce
多个溢写文件归并成一个或多个大文件，文件 中的键值对是排序的
当数据很少时，不需要溢写到磁盘，直接在缓 存中归并，然后输出给Reduce
2 MapReduce简介
2.4 实例1 -- WordCount
算法思想
程序 输入
输出
WordCount
一个包含大量单词的文本文件
文件中每个单词及其出现次数（频数 ），并按照单词字母顺序排序，每个 单词和其频数占一行，单词和频数之
周期性地通过“心跳”将本节点上资源的使用情 况和任务进度汇报给JobTracker，同时接收 JobTracker 命令并执行相应操作
JobTracker
JobTracker负责资源监控和作业调度 JobTracker 监控所有TaskTracker与Job的状况，
一旦失败，就将任务转移到其他节点 JobTracker 跟踪任务执行进度、资源使用量等，
CONTENTS
03 HDFS简介 Introduction of HDFS
04 Spark概述 Overview of Spark
2 MapReduce简介
2.1 分布式并行编程
摩尔定律
CPU性能大约每隔18个月翻一番 从2005年开始摩尔定律逐渐失效 ，需要处理的数据量快速增加，人们开始借助于分布式
Kafka Spark
一种高吞吐量的分布式发布订阅消息系 统，可以处理消费者规模的网站中的所
有动作流数据
类似于Hadoop MapReduce的通用并 行框架
01 Hadoop概述 Overview of Hadoop
Hadoop与Spark简介
02 MapReduce简介 Introduction of MapReduce
多个溢写文件归并成一个或多个大文件，文件 中的键值对是排序的
当数据很少时，不需要溢写到磁盘，直接在缓 存中归并，然后输出给Reduce
2 MapReduce简介
2.4 实例1 -- WordCount
算法思想
程序 输入
输出
WordCount
一个包含大量单词的文本文件
文件中每个单词及其出现次数（频数 ），并按照单词字母顺序排序，每个 单词和其频数占一行，单词和频数之
周期性地通过“心跳”将本节点上资源的使用情 况和任务进度汇报给JobTracker，同时接收 JobTracker 命令并执行相应操作
《hadoop基础》课件——第三章 Hadoop集群的搭建及配置
19
Hadoop集群—文件监控
http://master:50070
20
Hadoop集群—文件监控
http://master:50070
21
Hadoop集群—文件监控
http://master:50070
22
Hadoop集群—任务监控
http://master:8088
23
Hadoop集群—日志监控
http://master:19888
24
Hadoop集群—问题 1.集群节点相关服务没有启动？
1. 检查对应机器防火墙状态； 2. 检查对应机器的时间是否与主节点同步；
25
Hadoop集群—问题
2.集群状态不一致，clusterID不一致？ 1. 删除/data.dir配置的目录； 2. 重新执行hadoop格式化；
准备工作：
1.Linux操作系统搭建完好。 2.PC机、服务器、环境正常。 3.搭建Hadoop需要的软件包（hadoop-2.7.6、jdk1.8.0_171）。 4.搭建三台虚拟机。（master、node1、node2）
存储采用分布式文件系统 HDFS，而且，HDFS的名称 节点和数据节点位于不同机 器上。
2、vim编辑core-site.xml，修改以下配置： <property>
<name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/soft/hadoop-2.7.6/tmp</value> </property> <property> <name>fs.trash.interval</name> <value>1440</value> </property>
Hadoop及Mapreduce入门 PPT课件
• Yahoo！： 4000 nodes (2*4cpu boxes w 4*1TB disk & 16GB RAM)
• More on /hadoop/PoweredBy
Goals of HDFS
• 大数据集存储 – 10K nodes, 100 million files, 10 PB
}
/** * Called once at the end of the task. */
protected void cleanup(Context context) throws IOException, InterruptedException {}
}
Job Setup
public static void main(String[] args) throws Exception { String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); if (otherArgs.length != 2) { System.err.println("Usage: wordcount <in> <out>"); System.exit(2); } Job job = new Job(new Configuration(), "word count"); job.setJarByClass(WordCount.class);
• Meta-data记录了 – 文件列表信息 – 每个文件的块列表 – 每个块对应的DataNode – 文件属性，如创建时间、创建者、几份副本等
• Transaction Log (EditLog ) –记录了文件系统的每个变化，如创建文件、删除文件、修改文 件的副本数等 – EditLog会被合并为FsImage并存入磁盘
Hadoop基础知识培训 ppt课件
适合海量的，但是同时也是简单的操作，具备低延时的数 据返回，比如说key-value的操作，是生产环境对外访问可 行的方式
海量数据存储的驱使，具备动态扩展系统容量的需求
把信息化打造成为中国电信企业核心竞争力之一
ppt课件
企业信息化部 35
Hadoop常用组件——Hive简介
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一 张数据库表，并提供完整的类sql查询功能，可以将类sql语句转换为 MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速 实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数 据仓库的统计分析。
ppt课件
企业信息化部 31
HBase 简介（续）
• 大：一个表可以有上亿行，上百万列
• 面向列：面向列(族)的存储和权限控制， 列(族)独立检索
• 稀疏：对于为空的列，并不占用存储空 间，因此，表可以设计的非常稀疏
• 多版本：每条记录中的数据可以有多个 版本
• 无类型：存在HBase中的数据都是字符 串，无其他类型
ppt课件
企业信息化部 16
3 HDFS 之漫画读写
把信息化打造成为中国电信企业核心竞争力之一
ppt课件
企业信息化部 17
3 HDFS 之漫画读写
把信息化打造成为中国电信企业核心竞争力之一
ppt课件
企业信息化部 18
4 HDFS 之漫画容错
把信息化打造成为中国电信企业核心竞争力之一
ppt课件
企业信息化部 19
把信息化打造成为中国电信企业核心竞争力之一
ppt课件
企业信息化部 33
2 HBase 体系结构
海量数据存储的驱使，具备动态扩展系统容量的需求
把信息化打造成为中国电信企业核心竞争力之一
ppt课件
企业信息化部 35
Hadoop常用组件——Hive简介
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一 张数据库表，并提供完整的类sql查询功能，可以将类sql语句转换为 MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速 实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数 据仓库的统计分析。
ppt课件
企业信息化部 31
HBase 简介（续）
• 大：一个表可以有上亿行，上百万列
• 面向列：面向列(族)的存储和权限控制， 列(族)独立检索
• 稀疏：对于为空的列，并不占用存储空 间，因此，表可以设计的非常稀疏
• 多版本：每条记录中的数据可以有多个 版本
• 无类型：存在HBase中的数据都是字符 串，无其他类型
ppt课件
企业信息化部 16
3 HDFS 之漫画读写
把信息化打造成为中国电信企业核心竞争力之一
ppt课件
企业信息化部 17
3 HDFS 之漫画读写
把信息化打造成为中国电信企业核心竞争力之一
ppt课件
企业信息化部 18
4 HDFS 之漫画容错
把信息化打造成为中国电信企业核心竞争力之一
ppt课件
企业信息化部 19
把信息化打造成为中国电信企业核心竞争力之一
ppt课件
企业信息化部 33
2 HBase 体系结构
《hadoop培训》课件
Hadoop的数据类型和处理模型
总结词
介绍Hadoop支持的数据类型和处理模型，如 MapReduce、Hive、Pig等。
详细描述
Hadoop支持多种数据类型和处理模型，其中最核心的 是MapReduce。MapReduce是一种编程模型，用于处 理大规模数据集。它可以将数据集拆分成多个小数据集 ，并在多个节点上并行处理，最后将结果汇总得到最终 结果。除了MapReduce外，Hadoop还支持其他数据处 理工具，如Hive、Pig等。这些工具提供了更高级别的抽 象，使得用户可以更加方便地进行数据分析和处理。
案例三：推荐系统实现
数据来源
用户行为数据、物品属性数据等 。
数据处理
使用Hadoop的MapReduce框架 对数据进行处理，提取用户和物 品的特征，生成分析所需的数据 集。
分析方法
利用机器学习、深度学习等技术 ，构建推荐算法模型，如协同过 滤、基于内容的推荐等。
总结词
通过Hadoop处理大规模用户数 据和物品数据，构建推荐算法模 型，实现个性化推荐。
应用场景
根据分析结果，优化系统性能、加强安全 防护、提高系统的可用性和安全性。
数据来源
各类服务器、网络设备、应用系统的日志 数据。
分析方法
利用日志分析技术，监控系统的性能指标 、安全事件等，及时发现和解决潜在的问 题。
数据处理
使用Hadoop的MapReduce框架对日志 数据进行处理，提取关键信息，生成分析 所需的数据集。
置等。
Hadoop文件系统（HDFS）
要分布式文件系统（HDFS）的特点、架构 和操作方式。
Hadoop分布式文件系统（HDFS）是Hadoop的核心组件 之一，它为Hadoop提供了大容量数据的存储和处理能力 。HDFS采用主从架构，由一个NameNode和多个 DataNode组成。NameNode负责管理文件系统的元数据 ，而DataNode负责存储实际的数据。在操作方式上， HDFS提供了基于命令行的接口和编程接口（如Java API） ，方便用户进行数据存储、访问和管理。
hadoop体系架构
hadoop体系架构1.1 Hadoop概念：hadoop是⼀个由Apache基⾦会所开发的分布式系统基础架构。
是根据google发表的GFS(Google File System)论⽂产⽣过来的。
优点： 1. 它是⼀个能够对⼤量数据进⾏分布式处理的软件框架。
以⼀种可靠、⾼效、可伸缩的⽅式进⾏数据处理。
2. ⾼可靠性，因为它假设计算元素和存储会失败，因此它维护多个⼯作数据副本，确保能够针对失败的节点重新分布处理。
3. ⾼效性，因为它以并⾏的⽅式⼯作，通过并⾏处理加快处理速度。
4. 可伸缩的，能够处理 PB 级数据。
此外，Hadoop 依赖于社区服务，因此它的成本⽐较低，任何⼈都可以使⽤。
Hadoop是⼀个能够让⽤户轻松架构和使⽤的分布式计算平台。
⽤户可以轻松地在Hadoop上开发和运⾏处理海量数据的应⽤程序。
它主要有以下⼏个优点： 1.⾼可靠性。
Hadoop按位存储和处理数据的能⼒值得⼈们信赖。
2.⾼扩展性。
Hadoop是在可⽤的计算机集簇间分配数据并完成计算任务的，这些集簇可以⽅便地扩展到数以千计的节点中。
3.⾼效性。
Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度⾮常快。
4.⾼容错性。
Hadoop能够⾃动保存数据的多个副本，并且能够⾃动将失败的任务重新分配。
5.低成本。
与⼀体机、商⽤数据仓库以及QlikView、Yonghong Z-Suite等数据集市相⽐，hadoop是开源的，项⽬的软件成本因此会⼤⼤降低。
Hadoop组成：主要由两部分组成，⼀个是HDFS,⼀个是MapReduce。
1)什么是HDFS（分布式⽂件系统）？HDFS 即 Hadoop Distributed File System。
⾸先他是⼀个开源系统，同时他是⼀个能够⾯向⼤规模数据使⽤的，可进⾏扩展的⽂件存储与传递系统。
是⼀种允许⽂件通过⽹络在多台主机上分享的⽂件系统，可让多机器上的多⽤户分享⽂件和存储空间。
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
26
Hadoop
• 背景
– Yahoo使用Hadoop – Hadoop成为Apache TLP – 淘宝？
27
Hadoop HDFS
• 分布式文件系统 • 设计原则
– 硬件错误是常态而不是异常 – 流式数据访问 – 大规模数据集 – 简单的一致性模型 – “移动计算比移动数据更划算” – 异构软硬件平台间的可移植性
32
Hadoop mapreduce
• 接口
– mapper – reducer – combiner – partitioner –…
33
Hadoop mapreduce
• 调度模型
– tasks – jobs – groups
34
Hadoop mapreduce
• 练习2：maprduce
28
Hadoop HDFS
• HDFS特性
– 大容量 – 高容错性 – 高吞吐量
• HDFS数据模型
–包 –块 – 文件
29
Hadoop HDFS
30
Hadoop HDFS
• 练习1：使用Hadoop HDFS
– 习题1：基本操作
• 上传文件到HDFS • 查看/设置文件的备份数 • 删除文件、文件夹
– Map：映射，空间变换 – Reduce：汇总，规约
18
MapReduce编程模型
• 中间数据结构：<Key, Value>对
– map (in_key, in_value) -> list(out_key, intermediate_value)
– reduce (out_key, list(intermediate_value)) -> list(out_value)
Hadoop架构介绍
1
背景：云时代的变革
2
应用的挑战
• 海量数据
3
• 成本
应用的挑战
4
应用的挑战
• 变化的业务需求
5
分布式解决方案？
6
变革
• 分布式编程已成为必备的技能 • 编程的对象：单机vs集群？ • 全新的系统栈
– 存储 – 调度 – 计算 –…
7
目标
• 结束本次讲座时，你可以
– 熟悉分布式系统、Hadoop的背景知识 – 理解MapReduce编程模型 – 使用Hadoop
– 习题2：查看文件
• 查看文件状态 • 查看文件内容
– 习题3：使用Java API读取文件内容
31
Hadoop mapreduce
• 分布式计算框架 • 语言支持
– Java – C++ (through pipes) – script languages (through streaming)
8
大家有疑问的，可以询问和交流
可以互相讨论下，但要小声点
9
大家有疑问的，可以询问和交流
可以互相讨论下，但要小声点
10
Aganda
• 简介 • MapReduce编程模型 • Hadoop • Hive
11
简介
• 大规模计算面临的挑战
– 数据量 – 成本 – 变化，通用性
• 互联网应用的特性
– 分析型业务为主 – 异构环境
• 设计MapReduce算法的核心概念
19
MapReduce编程模型
• 并行能力
– 子任务间并行
20
MapReduce编程模型
• 并行能力
– Map、Reduce任务间并行
21
MapReduce编程模型
• 并行能力
– 作业间并行
22
MapReduce点击日志统计：PV / UV – 词频统计 – 海量数据排序 – 表Join
36
Hive
• MapReduce的高级语言（类SQL）支持 • Facebook支持的开源软件 • 谁用谁知道
37
• Hive结构
Hive
38
Hive
• Hive语句一览
– DDL
– CREATE/DROP/ ALTER TABLE – CREATE/DROP TEMPORARY FUNCTION – SHOW/DESCRIBE …
– 习题1：基本操作
• 运行示例代码wordcount • 查看任务结果 • 杀死任务
– 习题2：查看任务状态
• 命令行查看 • web页面查看
35
Hadoop mapreduce
• 练习2：maprduce
– 习题3：阅读理解wordcount代码 – 习题4：编写MapReduce逻辑：分布式Grep – 习题5：编写MapReduce逻辑：Join
– DML
– LOAD – INSERT
– Query
– JOIN – SORT / DISTRIBUTE / CLUSTER / GROUP BY – TRANSFORM
39
• 自定义逻辑
– UDF – TRANSFORM
Hive
40
Hive
• 练习3：使用Hive
– 习题1：建表 – 习题2：导入数据 – 习题3：查询
• 思考题：MapReduce的数据偏斜问题
23
MapReduce编程模型
• 总结
24
Hadoop
• 开源分布式系统实现 • 子项目（模块）
– core – mapreduce – hdfs – hive – avro –…
25
Hadoop
• 背景
– Google发表有关MapReduce论文 – Doug Cutting以及Nutch的MapReduce实现
12
简介
• MapReduce：一种通用解决方案
13
简介
• Hadoop：山寨MapReduce中的强者 • 衍生项目…
14
简介
• 业界动态：加快部署！ • 淘宝应用现状
– 云梯
15
• 总结
简介
16
MapReduce编程模型
• A game
17
MapReduce编程模型
• MapReduce语言学
41
快要结束了☺
• Q/A
42
Hadoop
• 背景
– Yahoo使用Hadoop – Hadoop成为Apache TLP – 淘宝？
27
Hadoop HDFS
• 分布式文件系统 • 设计原则
– 硬件错误是常态而不是异常 – 流式数据访问 – 大规模数据集 – 简单的一致性模型 – “移动计算比移动数据更划算” – 异构软硬件平台间的可移植性
32
Hadoop mapreduce
• 接口
– mapper – reducer – combiner – partitioner –…
33
Hadoop mapreduce
• 调度模型
– tasks – jobs – groups
34
Hadoop mapreduce
• 练习2：maprduce
28
Hadoop HDFS
• HDFS特性
– 大容量 – 高容错性 – 高吞吐量
• HDFS数据模型
–包 –块 – 文件
29
Hadoop HDFS
30
Hadoop HDFS
• 练习1：使用Hadoop HDFS
– 习题1：基本操作
• 上传文件到HDFS • 查看/设置文件的备份数 • 删除文件、文件夹
– Map：映射，空间变换 – Reduce：汇总，规约
18
MapReduce编程模型
• 中间数据结构：<Key, Value>对
– map (in_key, in_value) -> list(out_key, intermediate_value)
– reduce (out_key, list(intermediate_value)) -> list(out_value)
Hadoop架构介绍
1
背景：云时代的变革
2
应用的挑战
• 海量数据
3
• 成本
应用的挑战
4
应用的挑战
• 变化的业务需求
5
分布式解决方案？
6
变革
• 分布式编程已成为必备的技能 • 编程的对象：单机vs集群？ • 全新的系统栈
– 存储 – 调度 – 计算 –…
7
目标
• 结束本次讲座时，你可以
– 熟悉分布式系统、Hadoop的背景知识 – 理解MapReduce编程模型 – 使用Hadoop
– 习题2：查看文件
• 查看文件状态 • 查看文件内容
– 习题3：使用Java API读取文件内容
31
Hadoop mapreduce
• 分布式计算框架 • 语言支持
– Java – C++ (through pipes) – script languages (through streaming)
8
大家有疑问的，可以询问和交流
可以互相讨论下，但要小声点
9
大家有疑问的，可以询问和交流
可以互相讨论下，但要小声点
10
Aganda
• 简介 • MapReduce编程模型 • Hadoop • Hive
11
简介
• 大规模计算面临的挑战
– 数据量 – 成本 – 变化，通用性
• 互联网应用的特性
– 分析型业务为主 – 异构环境
• 设计MapReduce算法的核心概念
19
MapReduce编程模型
• 并行能力
– 子任务间并行
20
MapReduce编程模型
• 并行能力
– Map、Reduce任务间并行
21
MapReduce编程模型
• 并行能力
– 作业间并行
22
MapReduce点击日志统计：PV / UV – 词频统计 – 海量数据排序 – 表Join
36
Hive
• MapReduce的高级语言（类SQL）支持 • Facebook支持的开源软件 • 谁用谁知道
37
• Hive结构
Hive
38
Hive
• Hive语句一览
– DDL
– CREATE/DROP/ ALTER TABLE – CREATE/DROP TEMPORARY FUNCTION – SHOW/DESCRIBE …
– 习题1：基本操作
• 运行示例代码wordcount • 查看任务结果 • 杀死任务
– 习题2：查看任务状态
• 命令行查看 • web页面查看
35
Hadoop mapreduce
• 练习2：maprduce
– 习题3：阅读理解wordcount代码 – 习题4：编写MapReduce逻辑：分布式Grep – 习题5：编写MapReduce逻辑：Join
– DML
– LOAD – INSERT
– Query
– JOIN – SORT / DISTRIBUTE / CLUSTER / GROUP BY – TRANSFORM
39
• 自定义逻辑
– UDF – TRANSFORM
Hive
40
Hive
• 练习3：使用Hive
– 习题1：建表 – 习题2：导入数据 – 习题3：查询
• 思考题：MapReduce的数据偏斜问题
23
MapReduce编程模型
• 总结
24
Hadoop
• 开源分布式系统实现 • 子项目（模块）
– core – mapreduce – hdfs – hive – avro –…
25
Hadoop
• 背景
– Google发表有关MapReduce论文 – Doug Cutting以及Nutch的MapReduce实现
12
简介
• MapReduce：一种通用解决方案
13
简介
• Hadoop：山寨MapReduce中的强者 • 衍生项目…
14
简介
• 业界动态：加快部署！ • 淘宝应用现状
– 云梯
15
• 总结
简介
16
MapReduce编程模型
• A game
17
MapReduce编程模型
• MapReduce语言学
41
快要结束了☺
• Q/A
42