Hadoop大数据平台技术架构

智慧IT

Hadoop大数据平台技术架构

技术创新，变革未来

课程目录

hadoop概述

hadoop1 vs hadoop2

hadoop环境搭建分布式搭建 hdfs shell实战

word count代码运行演示

前言-概念、名词科普

Apache基金会

是专门为支持开源软件项目而办的一个非盈利性组织 服务器(节点)

可以理解为我们的一台笔记本/台式机

在这里可以认为是我们的一台虚拟机

后面学习中，我们会把一台服务器称为一个节点

机架

负责存放服务器的架子

可以理解为鞋架(^_^)

服务器

企业里任务和程序基本都是

运行在服务器上。

服务器内存和cpu以及硬盘

等资源和性能远高于pc机

机架

一个公司里，会有很多服务器。尤其

是hadoop集群大到上千台服务器搭

建成集群

hadoop概述

Hadoop是一个适合海量数据的分布式存储和分布式计算的平台。

作者Doug Cutting 受Google三篇论文的启发，开发了hadoop。 从excel表格说起

从分拣大豆说起

北冥有鱼，其名为鲲，鲲之大，一锅炖不下

hadoop组件介绍

hadoop是一个统称，目前hadoop主要包含三大组件 hdfs：是一个分布式存储框架，适合海量数据存储

mapreduce：是一个分布式计算框架，适合海量数据计算 yarn：是一个资源调度平台，负责给计算框架分配计算资源

hadoop版本介绍

目前，hadoop已经演变为大数据计算的代名词，形成了一套完善的大数据计算的生态系统，所以针对hadoop也出现了很多版本

/releases.html

Apache hadoop

官方版本

Cloudera hadoop(CDH)

使用下载最多的版本，稳定，有商业支持(收费)，在Apache的基础上打上了一些patch。推荐使用。

HortonWorks(HDP)

基于Apache的版本进行了集成，结合Ambari可以实现平台化快速安装部署。

分布式存储

•

HDFS具有主从架构。

HDFS集群由单个名称节点组成，

主服务器管理文件系统名称空间

并控制客户机对文件的访问。

此外，还有许多数据节点，

通常是集群中每个节点一个，

它们管理连接到运行它们的节点的存储。

分布式存储介绍

在分布式存储系统中，分散在不同节点中的数据可能属于同一个文件。

为了组织众多的文件，把文件可以放到不同的文件夹中，文件夹可以一级一级的包含。我们把这种组织形式称为命名空间（namespace）。命名空间管理着整个服务器集群中的所有文件。

集群中不同的节点承担不同的职责。

负责命名空间职责的节点称为主节点（master node）

负责存储真实数据职责的节点称为从节点（slave node）。

主节点负责管理文件系统的文件结构，从节点负责存储真实的数据，称为主从式结构（master-

slaves）。

用户操作时，应该先和主节点打交道，查询数据在哪些从节点上存储，然后再到从节点读取。

在主节点上，为了加快用户访问的速度，会把整个命名空间信息都放在内存中，当存储的文件越多时，那么主节点就需要越多的内存空间。

在从节点存储数据时，有的原始数据文件可能很大，有的可能很小，大小不一的文件不容易管理，那么可以抽象出一个独立的存储文件单位，称为块（block）。

数据存放在集群中，可能因为网络原因或者节点硬件原因造成访问失败，最好采用副本（replication）机制，把数据同时备份到多台节点中，这样数据就安全了，数据丢失或者访问失败的概率就小了。

hdfs架构分析

负责数据的分布式存储

主从结构

主节点，最多可以有2个：namenode

从节点，有多个：datanode

namenode负责

接收用户操作请求，是用户操作的入口

维护文件系统的目录结构，称作命名空间 datanode负责

存储数据

mapreduce架构分析

依赖磁盘io的批处理计算模型

主从结构

主节点，只有一个: MRAppMaster

从节点，就是具体的task

MRAppMaster负责

接收客户端提交的计算任务

把计算任务分给NodeManager的Container中执行，即任务调度

Container是YARN中资源的抽象，它封装了某个节点上一定量的资源（CPU和内存两类资源）

Container由ApplicationMaster向ResourceManager申请的，由

ResouceManager中的资源调度器异步分配给ApplicationMaster Container的运行是由ApplicationMaster向资源所在的NodeManager发起的 监控Container中Task的执行情况

Task负责：

执行任务

yarn架构分析

资源的调度和管理平台

主从结构

主节点，最多可以有2个：ResourceManager

从节点，有很多个: NodeManager

ResourceManager负责

集群资源的分配与调度

MapReduce、Storm、Spark等应用，必须实现ApplicationMaster接口，才能被RM管理

NodeManager负责

单节点资源的管理