大数据平台简介

DataNode因为故障而不可用 拷贝过程失败
DataNode上的磁盘坏掉 副本数量会被增加
HDFS稳健性
43
数据完整性
HDFS客户端应用实现了对文件内容的校验和。HDFS写入的时候计算出校验 和，然后每次读的时候再计算校验和。
Blockreport：当一个DataNode启动时，它会扫描本地文件系统，生成 所有HDFS数据块的一个列表，然后向NameNode发送一个报告。
HDFS的基本结构之 DataNode
38
Datanode一般是一个节点一 个，负责所在物理节点的存储 管理，是文件系统中真正存储 数据的地方 一个文件被分成一个或多个数 据块，这些块存储在一组 Datanode上 Datanode负责处理文件系统 客户端的读写请求。 在Namenode的指挥下进行 block的创建、删除和复制 周期性的向Namenode汇报 其存储的数据块信息
副本策略
HDFS采用机架感知（rack awareness）的副本存放策略来 提高数据的可靠性、可用性和网 络带宽的利用率。 将第一个副本放在本地节点，将 第二个副本放到本地机架上的另 外一个节点，而将第三个副本放 到不同机架上的节点。 文件的副本不是均匀地分布在机 架当中，这种方式提高了写的性 能，并且不影响数据的可靠性和 读性能（选择读取最近的副本）
HDFS特点
30
适合大数据 处理
流式文件 访问
可构建 廉价机器上
GB、TB、甚至PB级数据；百万规模以上的文件数量； 10K+节点规模
HDFS使应用程序流式地访问它们的数据集。所以它重 视数据吞吐量，而不是数据访问的反应速度。
通过多副本提高可靠性；提供了容错和恢复机制
高容错性
数据自动保存多个副本；副本丢失后，自动恢复
云服务集团 云海Insight HD
23
软件集团 Indata HD
HDP
24
HDFS
相关背景资料
25
Hadoop：一个分布式系统基础架构，由Apache 基金会开发。用户可以在不了解分布式底层细节的 情况下，开发分布式程序。充分利用集群的威力高 速运算和存储。
Distributed：分布式计算是利用互联网上的计算 机的 CPU 的共同处理能力来解决大型计算问题 的一种计算科学。
Tez （DAG计算
）
Spark （内存计算
）
… …
YARN （分布式计算框架）
HDFS （分布式存储系统）
Flume
（日志收集 ）
HDFS－Hadoop Distributed File System
5
Yarn－资源管理器
6
MapReduce－分布式并行计算框架
7
“你数一号书架，我数二号书架。我们人数多，数书就更快。这就是map； 最后我们到一起，把所有人的统计数加在一起，就是reduce。”
Zookeeper－分布式协调服务
13
Sqoop－Hadoop与关系数据库间的数据同步工具
14
Flume－分布式日志采集工具
15
Amari－Hadoop集群安装部署监控工具
16
17
Hadoop主流厂商
大数据领域的三驾马车
18
Cloudera
Hortonwo rks
MapR
Cloudera Distribution Hadoop(CDH)
数据组织
39
数据块（block）：大文件会被分割成多个block进行存储，block大小默 认为128MB。 比磁盘块大很多，目的是减少寻址开销。 并不是设置块越大越好。 每一个block会在多个datanode上存储多份副本，默认是3份。 与其他文件系统不一样，HDFS中每个小于块大小的文件不会占据整个块 的空间。
总体架构图
33
HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一 定数目的Datanode组成，他们以管理者-工作者模式工作。
总体架构图-Client
34
切分文件；
访问或通过命令行管理HDFS；
与NameNode交互，获取文件 位置信息；
与DataNode交互，读取和写 入数据。
并发写入、文 件随机修改
不支持多用户对同一文件进行操作，而且写操作只 能在文件末尾完成，即追加操作。
HDFS现在遇到的主要问题
32
分布后的文件系统有个无法回避的 问题，因为文件不在一个磁盘导致 读取访问操作的延时，这个是 HDFS现在遇到的主要问题
Biblioteka Baidu
HDFS 调优是使用时最 应该注意的。
现阶段，HDFS的配置是按照高数据吞吐量优化的，可能会以高时 间延时为代价。但万幸的是，HDFS是具有很高弹性，可以针对具 体应用再优化。
HDFS
128 MB 128 MB 128 MB 128 MB
数据复制
40
大文件在集群中跨机器存储
每个文件存储成一系列的数 据块，除了最后一个，所有 的数据块都是同样大小的
为了容错，文件的所有数据 块都会有副本。每个文件的 数据块大小和副本系数都是 可配置的
Namenode全权管理数据块的复制，它周期性地从集群中的每个 Datanode接收心跳信号和块状态报告
Rack1
41
Rack2 Node
大数据集群
HDFS稳健性
42
故障的类型：NameNode故障，DataNode故障和网络中断 数据磁盘故障, 心跳及重新复制
DataNode
NameNode
HeartBeats
DataNode
DataNode
Dead
DataNode
NameNode启动block重新复制：
分布式文件系统特点
28
通透性：DFS让实际上是通过网络来访问文件的动作，由用户和程 序看来，就像访问本地的磁盘一般。
Root
目录 1
目录 2
File
···
split
Block
···
Block
集群
节 点
节 点
节 点
HDFS是什么
29
HDFS是Hadoop Distribute File System 的简称，也就是 Hadoop的一个分布式文件系统。 HDFS被设计成适合运行在通用硬件(commodity hardware)上的 分布式文件系统。 HDFS是一个高度容错性的系统，适合部署在廉价的机器上 HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应 用 HDFS可以实现流的形式访问（streaming access）文件系统中的 数据 对外部客户机而言，HDFS 就像一个传统的分级文件系统。可以创 建、删除、移动或重命名文件，等等。对于用户来说，可以直接看 成是一个巨大的硬盘。
Spark－新一代大数据处理计算引擎
8
You can run Spark using its standalone cluster mode, on EC2, on Hadoop YARN, or on Apache Mesos. Access data in HDFS, Cassandra, HBase, Hive, Tachyon, and any Hadoop data source.
HDFS元数据持久化
37
checkpoint ：NameNode启动后，它会从磁盘中读取FsImage及 EditLog，应用EditLog中所有的事务到存在于内存中的FsImage文件对象 ，然后将版本较新的这个FsImage文件写入磁盘，之后EditLog就可以被 删除了。一个checkpoint只发生在NameNode启动的时候。
HDFS的基本结构之 NameNode
35
Namenode是一个中心服务器 ，负责管理文件系统的命名空 间
协调客户端对文件的访问
Namenode执行文件系统的命 名空间操作，例如打开、关闭 、重命名文件和目录
记录每个文件数据块在各个 Datanode上的位置和副本信息
HDFS元数据持久化
36
NameNode存有HDFS的元数据：主要由FSImage和EditLog组成。 FSImage是元数据镜像文件
操作和编程接口。
Apache pig是用来处理大规模数据的高级查询语言，配合Hadoop使用，
可以在处理海量数据时达到事半功倍的效果，比使用Java，C++等语言编写 大规模数据处理程序的难度要小N倍，实现同样的效果的代码量也小N倍。
A = LOAD 'a.txt' AS (col1:chararray, col2:int, col3:int, col4:int, col5:double, col6:double); B = GROUP A BY (col2, col3, col4); C = FOREACH B GENERATE group, AVG(A.col5), AVG(A.col6); DUMP C;
19
Hortonworks Data Platform (HDP)
20
MapR Converged Data Platform
21
Hadoop主流厂商比较
22
开源
开源
开源
管理 管理
完全开源 收取服务费
工具不开源 收取License费用
架构创新
重构了底层内核 收取License费用
浪潮大数据平台产品
适合批处理
HDFS被设计成适合进行批量处理，而不是用户交互式 处理；移动计算而非数据；数据位置暴露给计算框架
简化一致性模型 一次性写入，多次读取；保证数据一致性
可移植性
HDFS在设计的时候就考虑到平台的可移植性。这种特 性方便了HDFS作为大规模数据应用平台的推广
HDFS的局限性
31
不适合低延迟 数据访问
保存整个文件系统的目录树 数据块映射关系：文件与数据块映射关系，DataNode与数据块映射关系
EditLog是元数据操作日志，记录每次保存fsimage之后到下次保存之间 的所有hdfs操作
NameNode
FileSystemImage
EditLog
命名空间操作记录，如打 开、关闭、创建、删除、
重命名 文件和目录
File system：文件系统是操作系统用于明确磁盘或分区上的文 件的方法和数据结构；即在磁盘上组织文件的方法。也指用于 存储文件的磁盘或分区，或文件系统种类。
Hadoop和HDFS的关系
26
Hadoop 是一个以一种可靠、高效、可伸缩的方式进行处理的，能够对大量 数据进行分布式处理的系统框架。 HDFS是Hadoop兼容最好的标准级文件系统，因为Hadoop是一个综合性 的文件系统抽象，所以HDFS不是Hadoop必需的。
大数据平台简介
2
Hadoop生态系统
Hadoop 1.0 V 2.0
3
Hadoop生态系统
4
Ambari
（安装部署工具）
Oozie
（作业流调度系统）
Sqoop
（数据库TEL 工具）
Zookeeper
（分布式协调服务）
HBase
（分布式协数据库）
Hive
Pig
Mahout
……
MapReduce （离线计算）
由于HDFS是为高数据吞吐量应用而设计的，必然 以高延迟为代价。不适合低延迟与高吞吐率的数据 访问 ，比如毫秒级
无法高效存储 大量小文件
HDFS中元数据（文件的基本信息）存储在 namenode的内存中，而namenode为单点，小文 件数量大到一定程度，namenode内存就吃不消了 ；寻道时间超过读取时间
所以可以理解为hadoop是一个框架，HDFS是hadoop中的一个部件。
HDFS背景介绍
27
随着数据量越来越大， 在一个操作系统管辖的范围存不下了， 那 么就 分配到更多的操作系统管理的磁盘中， 但是不方便管理和维 护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文 件管理系统。
分布式文件系统：一种允许文件通过网络在多台主机上分享的文件 系统，可以让多个机器上的多个用户分享文件和存储空间。
HBase－NoSQL数据库
9
Hive－hadoop的数据仓库
10
Pig－大规模数据分析平台
11
Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处
理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的
Mahout－机器学习算法库
12
Mahout 是 Apache Software Foundation（ASF） 旗下的一个开源项目，提供一些 可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智 能应用程序。Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘 。此外，通过使用 Apache Hadoop 库，Mahout 可以有效地扩展到云中。