大数据与分布式计算培训教材(PPT65页)

WordCount
MapReduce
• 物理上
MapReduce
MapReduce
Hive
• SQL
– Sub-queries in from clause – Equi-joins
• Inner • Left, Right, full Outer
– Multi-table Insert – Multi-group-by
文件
• 文件切分成块（默认大小64M），以块为单位，每 个块有多个副本存储在不同的机器上，副本数可在 文件生成时指定（默认3）
• NameNode是主节点，存储文件的元数据如文件名， 文件目录结构，文件属性（生成时间,副本数,文件权 限），以及每个文件的块列表以及块所在的 DataNode等等
• DataNode在本地文件系统存储文件块数据，以及块 数据的校验和
• Extensibility
– Pluggable Map-reduce scripts – Pluggable User Defined Functions – Pluggable User Defined Types
• Complex object types: List of Maps
– Pluggable Data Formats
分而治之（Divide and Conquer）
MapReduce特性
• 自动实现分布式并行计算 • 容错 • 提供状态监控工具 • 模型抽Fra Baidu bibliotek简洁，程序员易用
MapReduce
它由称为map和reduce的两部分用户程序组成， 然后利用框架在计算机集群上面根据需 求运行多个程序实例来处理各个子任务， 然后再对结果进行归并。
磁盘利用率 100% 50% 50% （N-1）/N （N-2）/N
HDFS系统架构
什么是HDFS?
• Hadoop Distributed File System
– Hadoop Distributed File System (HDFS) is the primary storage system used by Hadoop
applications. HDFS creates multiple replicas of
data blocks and distributes them on compute nodes throughout a cluster to enable reliable, extremely rapid computations.
Hive QL – Join in Map Reduce
page_view
key value
key value
pageid userid time
111 <1,1>
111 <1,1>
1 111 9:08:01 2 111 9:08:13
111 <1,2>
111 <1,2>
1 222 9:08:14
设计目标
假设： 节点失效是常态
理想： 1. 任何一个节点失效， 不影响HDFS服务 2. HDFS可以自动完成副 本的复制
HDFS主要组件的功能
NameNode • 存储元数据
•元数据保存在内存中 • 保存文件,block ，datanode 之间的映射关系
DataNode
• 存储文件内容 •文件内容保存在磁盘 •维护了block id到datanode本 地文件的映射关系
• Apache Log Format • Columnar Storage Format
Hive QL – Join
INSERT OVERWRITE TABLE pv_users SELECT pv.pageid, u.age FROM page_view pv
JOIN user u ON (pv.userid = u.userid);
从一个驱动器上读取所有的数据需要很长的时间，写甚至更慢。 如何解决？
磁盘损坏数据丢失怎么办？
如果需要存储计算1000T数据怎么办？
常用RAID技术
RAID类型 RAID0 RAID1 RAID10 RAID5 RAID6
访问速度 很快 很慢 中等 较快 较快
数据可靠性 很低 很高 很高 较高 较（RAID5）高
222 <1,1>
111 <2,25>
Map user
Shuffle Sort
Reduce
userid age gender
key value
key value
111 25 female 222 32 male
111 <2,25> 222 <2,32>
222 <1,1> 222 <2,32>
HDFS设计目标
• HDFS以流式数据访问模式存储超大文件，运 行于商用硬件集群上。
• 超大文件 • 流式数据访问
– 一次写入多次读取
• 商用硬件
不适合HDFS的场景
• 低延迟的数据访问 • 大量小文件
– 超过NameNode的处理能力
• 多用户任意写入修改文件
• HDFS为了做到可靠性（reliability）创建了多份数据块 （data blocks）的复制（replicas），并将它们放置在服务 器群的计算节点中（compute nodes），MapReduce就可以在它 们所在的节点上处理这些数据了。
大数据与分布式计算
HDFS
Hadoop Distributed File System
1990年，一个普通的硬盘驱动器可存储1370 MB的数据并拥有4.4 MB/s的传输速度 ，所以，只需五分钟的时间就可以读取整个磁 盘的数据。
20年过去了，1 TB级别的磁盘驱动器是很正常的，但是数据传输的速 度却在100 MB/s左右。所以它需要花两个半小时以上的时间读取 整个驱动器的数据。
• 可以创建、删除、移动或重命名文件，当文件创建、 写入和关闭之后不能修改文件内容。
分而治之（Divide and Conquer）
分而治之（Divide and Conquer）
分而治之（Divide and Conquer）
MapReduce
MapReduce：大规模数据处理
• 处理海量数据（>1TB） • 上百/上千CPU实现并行处理 • 简单地实现以上目的 • 移动计算比移动数据更划算