在OpenStack上运行大数据系统最佳实践
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
在OPENSTACK上运行大数据系统最佳实践
技术创新，变革未来
OpenStack
方法一：OpenStack Sahara
DEMO
方法一：OpenStack Sahara 方法一：OpenStack Sahara
方法二：用户直接管理Hadoop/用数据系统节点
方法二：用户直接管理Hadoop/用数据系统节点 Heat Swift
data 2
data 3
data 1
data 3
data 1
data 3
data 2
对象存储
Region 1
Region 2
data 2
data 1
data 2
data 3
data 1
data 3
data 1
data 3
data 2
对象存储 +
Hadoop
对象存储
对象存储
ຫໍສະໝຸດ Baidu
Hadoop Impala Spark ……
存储问题
01 02 03 04
￥ ￥
￥
对象存储 AWS S3 OpenStack Swift
对象存储 OpenStack Swift
对象存储 OpenStack Swift
核心心 百PB 全分布式
跨地域
多租户 Hadoop
灾备 双活
对象存储
data 1
data 2
data 3
data 2
data 1
s3a://
AWS EMR 心非s3a 协议
Swift HashData（心 非开源）
对象存储
挑战： 不同于心 非结构化数 据读写的负载特性！
例心子： Hive ORC格式
技术创新，变革未来
OpenStack
方法一：OpenStack Sahara
DEMO
方法一：OpenStack Sahara 方法一：OpenStack Sahara
方法二：用户直接管理Hadoop/用数据系统节点
方法二：用户直接管理Hadoop/用数据系统节点 Heat Swift
data 2
data 3
data 1
data 3
data 1
data 3
data 2
对象存储
Region 1
Region 2
data 2
data 1
data 2
data 3
data 1
data 3
data 1
data 3
data 2
对象存储 +
Hadoop
对象存储
对象存储
ຫໍສະໝຸດ Baidu
Hadoop Impala Spark ……
存储问题
01 02 03 04
￥ ￥
￥
对象存储 AWS S3 OpenStack Swift
对象存储 OpenStack Swift
对象存储 OpenStack Swift
核心心 百PB 全分布式
跨地域
多租户 Hadoop
灾备 双活
对象存储
data 1
data 2
data 3
data 2
data 1
s3a://
AWS EMR 心非s3a 协议
Swift HashData（心 非开源）
对象存储
挑战： 不同于心 非结构化数 据读写的负载特性！
例心子： Hive ORC格式