基于Hadoop构建大数据云平台(DAAS)

Hadoop和虚拟化的差异点
虚拟化技术
CPU资源
V1
内存资源
V2 Vn
硬盘资源
切分
硬盘资源
虚拟化技术
服务器
内存资源 CPU资源 服务器
服务器
聚合
专注于企业级大数据 4200台主机
集中存储和计算的主要瓶颈
Oracle IBM
EMC存储
scale-up(纵向扩展)
➢计算能力和机器数量成正比 ➢IO能力和机器数量成非正比
VPS VPS
VPS VPS
小型机 cpu
小型机 cpu
数据移动
计算瓶颈 带宽瓶颈
存储阵列
磁盘IO瓶颈
基于共享存储和高性能计算的架构。 大型机和小型机的差别 存储阵列和普通硬盘的差别 IO,稳定性。
专注于企业级大数据
Hadoop MapReduce 提供存储和计算扩展能力
交换机 R
交换机
➢计算能力和机器数量成正比
➢IO能力和机器数量成正比
R Reduce
cpu M 服务器
cpu M
服务器
cpu M 服务器
cpu M
服务器
cpu M 服务器
cpu
MM AP 数据移动 服务器
计算瓶颈 带宽瓶颈
HDFS 存储 存储 存储 存储 存储 存储
磁盘IO瓶颈
横向扩展(scale-out)
➢移动计算而非移动数据; ➢化整为零(128m),分片处理; ➢计算和存储资源池花 ➢并行IO,本地化计算,降低网络通专注信于;企业级大数据
近线区 非结构化
归档区 文件形
OLTP交易 数据库
实时,低价 值日志数 据
Serach, OLAP分析 视频/文本数据
数据库
数据备份
大数据全生命周期
专注于企业级大数据
基于Hadoop平台的架构成本优势
• 横向扩展,支持PB级别数据存储 • 生态系统丰富,许可授权自由(Apache) • 软件开源,平台开放,不会被厂商绑架 • 厂商支持多,Intel,Cloudera,MapR • 硬件基于X86服务器,价格低,厂商多 • 可以自行维护,降低维护成本 • 在互联网有大规模成功案例(BAT)
Hadoop大数据生态系统,大数据的处理分析标准。
Flume 大规模搜索(Nutch)
更多
挖掘算法(Mahout) 搜索(Solr) Sqoop
数据仓库(Hive) 数据库(Hbase) 批处理(Pig)
MPI+MapReduce 分布式锁(Zoomkeeper) 存储+计算(HDFS+Yarm)
专注于企业级大数据
专注于企业级大数据
数据开放,数据云服务平台(DAAS)时代
大数据即服务BDaaS (企业核心资源) • BDaaS-Big Data As A Service（大数据即服务） • 数据开放性是大数据时代的一个竞争力 • 一个开放的分布式数据平台是DAAS落地基础。 • 数据开放从企业和政府内部开始 • 大数据能够让我们能更多的关注个体,服务个体 • 1 + 1 > 2 (数据价值)
Hadoop Hbase 提供实时请求能力
交换机 Z
Client
交换机
Z
Z
M
➢存储能力和机器数量成正比 ➢并发能力和机器数量成正比
cpu RS 服务器
cpu RS 服务器
cpu RS 服务器
cpu RS 服务器
cpu RS 服务器
cpu MS
数据移动 服务器
计算瓶颈 带宽瓶颈
HDFS 存储 存储 存储 存储 存储 存储
专注于企业级大数据
提纲
数据开放,数据云服务平台(DAAS)时代 Hadoop平台在数据云平台(DAAS)上的架构和成本优势 数据云平台(DAAS 平台)组成部分 互联网公共数据大云(DAAS)案例 Hadoop构建构建游戏云(Web Game Daas)平台
专注于企业级大数据
Hadoop是什么?
专注于企业级大数据
对内服务-数据仓库模式-封闭模式
运营 数据分析师 PD
内部用户 … 数据化运营 商业决策 产品设计
卖家
买家
外部用户…
店铺经营 购买决策 行业分析
业务分析师/数据PD 理解业务
商业智能团队 文档化业务和需求 BI产品设计
数据产品PD
产品开发团队 分析、挖掘用户
需求 数据产品设计
ETL开发工程师
模型架构师
数据开发团队
数据模型建模
被动,人力服务
建设
数据仓库(DW)平台
架构师 程序员
基础开发 开发架构
技术框架设计 平台与工具的实现专注于企业级大数据对内服-数据云(DAAS)-开放模式
运营 数据分析师
P内D 部用户 … 数据化运营 商业决策 产品设计
商业智能团队 业务分析师/数据PD 理解业务 文档化业务和 需求 BI产品设计
总 结
• Hadoop平台在构建数据云(DAAS)平台有天 然的架构和成本的优势
专注于企业级大数据
提纲
数据开放,数据云服务平台(DAAS)时代 Hadoop平台在数据云平台(DAAS)上的天然优势 数据云平台(DAAS 平台)思想和组成部分 互联网公共数据大云(DAAS)案例 Hadoop构建构建游戏云(Web Game Daas)平台
API
外部用户 店铺经营 … 购买决策 行业分析
产品团队 数据产品PD 分析、挖掘用户 需求 数据产品设计
支持团队
服务
培训咨询， 解决方案 标准设定
数据云(DAAS)平台
模型架构师 ETL开发工程师
主动,自助服务
资源池1
资源池2 资源池N
建设 专注于企业级大数据
基础开发 架构师 程序员 开发架构
技术框架设计 平台与工具的实现
对外服务-数据仓库(标准服务 1.0)
用户1
用户N
海量用户
信息消费者
逻辑1
策逻辑逻辑N
数据集
决
逻辑 编辑
编辑人 员
信息生产者
数据库
Mysql/Oracle
专注于企业级大数据
数据仓库
对外服务-数据云(大规模反馈)
第三方服务
磁盘IO瓶颈
横向扩展(scale-out)
➢通过HDFS分布式存储,存储能力大。 ➢基于Key分布存储于Region,内存计算,分片处理。 ➢通过Zookeeper 提供高可用。专注于企业级大数据
Hadoop和开源架构应对数据全生命周期
交互区 事务型数据
整合区 流数H据base结构H化iv信e 息
基于Hadoop构建大数据云平台 (DAAS)
思想,原理,成本,案例
提纲
数据开放,数据云服务平台(DAAS)时代 Hadoop平台在数据云平台(DAAS)上的天然优势 数据云平台(DAAS 平台)组成部分 互联网公共数据大云(DAAS)案例 Hadoop构建构建游戏云(Web Game Daas)平台